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Предговор 

Ово је трећи непосредни наставак „Информатичке Теорије“: и „Информатичке Теорије || “2. Прва је 
садржавала наслове од „1. Неквадратна матрица канала“, до „43. Условне вероватноће“, а друга 
од „44. Сфере потенцијала“ до „67. Шредингерова мачка“. Нумерацију наслова само настављам. 
Све три скрипте радим на основу сећања и записа питања и одговора на Блогуз актуелном у вези 
са мојом теоријом информације, или других разговора са колегама. 


Не очекујем да моје текстове иначе још неко озбиљно чита, бар не још задуго. Када ми се понеко 

од ауторитета науке обрати обично одговорим да су ови наводни радови предалеко отишли како 
би њиховој заједници били незанимљиви, да би ми интерес јавности убио интересовање за њих, 

ослабио инспирацију и покварио играчку. Овом приликом се извињавам посебно упорним којима 
сам „одбрусио“ да ствари нису добро разумели и да ја не пишем научне већ научно-фантастичне 

приче. 


Стварни разлози су заправо „сређивање радног стола“, јер су ми важни моменти расути којекуда и 
има их толико да плачу за једном добром генералком. 


Аутор, 2022. 


: Информатичка Теорија |, ћЕЕр5://агсћме.огв/дета 5/1 20220709 
2 Информатичка Теорија |, ћЕр5://агсћуе.огв/дека 5/4-2 20220904 
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М Део: Алтернативе 


Три теме сам издвојио из претходне две скрипте и грубо превео на енглески „Сила неизвесности“, 
„Фреквенција слова“, „Границе расподела“ (Ипсега ту Еогсе, |ебћег Егедџепсу, Ит О1атбиноп5). 
Тако укратко препричане оне би остале подцењене, или би каснији уређивачи могли поверовати 
да њихов значај нисам добро разумео. Зато ћу овде направити још један искорак у том правцу. 


Поменута „сила неизвесности“ у прилогу се позива на прву скрипту, на генерисање (компјутером) 
низова случајних исхода и запажање да такви, као вектори апстрактног простора вероватноћа, као 
и потег сунце-планета пребришу једнаке површине у једнаким временима, те да им се врх креће 
по хиперболи. На тај начин, за неизвесности важи Кеплеров други закон гравитације, или рецимо 
тачније, у основи свих константних централних сила лежи та законитост неизвесности. То откриће 
иде и даље у дефинисање потенцијала неизвесности, која формално одговара физичким. 


Друга је скрипта започета анализом тог потенцијала помоћу једнаковероватних сфера, кругова и 
кружница са чијим полупречником расте извесност, а затим је дато и геометријско извођење као 
подршка претходним експериментима са насумичним. Подсећам да је ова, иначе свету науке нова 
идеја, заправо мени стара прича о кретању физичких набоја под утицајем опште спонтане тежње 
ка мање информативним стањима, дакле ка мањем дејству, сагласно чешћој реализацији више 
вероватних исхода. На пример, у књизи „Минимализам Информације“ у наслову „2.5 Ајнштајнове 
опште једначине“ приложио сам извођење једначина опште релативности на основу принципа 
најмањег дејства. 


Други прилог, о фреквенцији слова, говори о истом на мало другачији начин. Јасан, прецизан, или 
садржајан говор мање је информативан! Организујући мисли ускраћујемо им опције, неизвесност 
им кратимо тако да Шенонова информација постаје мања од „чистог шума“, тј. потпуно насумично 
набацаних слова. Ту је такође на делу „сила неизвесности“ која чини да нас усмереност привлачи 
тачно онолико колико нас вишак могућности одбија. Свако биће (живо више од неживог једнаких 
категорија) поседује неку количину слободних опција, а закон одржања информација мири та два 
антагонизма (одбијања од веће неизвесности, односно привлачења мањој). 


Из трећег прилога, који говори о ограничењима расподела вероватноћа, узео сам и наслов овога 
дела скрипти. У њему је једна важна и запостављена теорема (Тћеогет 12). Она каже да случајна 
променљива на коначном домену постиже максималну Шенонову информацију са униформном 
расподелом, док ће са унапред задатом средњом вредношћу (математичким очекивањем) она то 
достићи у експоненцијалној расподели, а са задатом варијансом (дисперзијом) у нормалној. Оно 
што следи наставак је ова три прилога. 
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68. Опадање информације 

Без журбе, прво приметимо да природа не воли једнакост (Еаџиа у) и ту тезу размотримо помоћу 
„мрежа без обима“ (5саје-Тгее пећумогко). Математичка теорија графова која их обрађује, као што је 
то иначе са математиком ствар, веома је универзална и практична. Замислимо да су чворишта тих 
мрежа рецимо имаоци моћи, новца, познанстава, или просто чворишта интернета, далековода, па 
и Ћелије живог организма, а повезнице су оно што комуницира, или интерагује између чворишта. 
Осврнућемо се и на информатичке разлоге због којих је структура тих чистих „слободних мрежа“ 
заправо ретка (5саје-Тгее пећмогк5 аге гаге). 


Приоритет је да су све повезнице, ма којих чворова дате мреже, међусобно равноправне. Ако тада 
захтевамо равноправност и чворова, такву да сваки има једнак број повезница, може се показати 
да мрежа није најефикаснија. На пример када би сваки човек имао једнако новца (моћи, утицаја, 
познаника) колање капитала (ефикасност, продорност, обавештеност) било би слабије, одлуке би 
биле краћег даха и спорије, односно економска моћ државе мања. 


Понашање природе у деловању начелног шкртарења информацијом (комуникацијом, дејством) се 
види у спонтаном повећању тих мрежа. Додајући нове повезнице, чворови који имају бар по једну 
више од околних добиће нову повезницу са већим шансама од околних. Са још већим упоредним 
бројем повезница и вероватноћа добијања нових биће и већа. Равноправност чворова све се више 
нарушава, а мрежа стреми ка једном чвору који има све повезнице и свим осталим који их имају 
по једну. Међутим тај екстремни циљ опет је равноправност „свих осталих“ чворова, што спонтани 
развој догађаја управљан начелним шкртарењем природе информацијом неће дозволити. 


Када направимо „топ листу“ чворова у мрежи који имају х веза са другим чворовима за велике 
вредности х, расподела вероватноћа у најпростијем случају показује степену законитост 


Ра“ 


где је у експонент који зависи од мреже и обично је број између 2 и 3, а 6 константа нормирања. 
Ова вероватноћа спорије опада од експоненцијалне, па иако је информација степене расподеле у 
сваком случају мања од униформне, ипак остаје већа од експоненцијалне. 


Оно што спречава даље опадање „количине неизвесности“ (информације) у развоју ових мрежа је 
избегавање превеликог равнања броја повезница осталих чворова, чија би равноправност почела 
расти. Продирање неизвесности ка зонама мање информације подсећа на прелевање воде према 
нижим нивоима. Или, то је модел сличан ширењу заразне болести која постепено ствара све већи 
број отпорних, а у случају смртности проређујући популацију, тако да у оба случаја она не достиже 
неко експоненцијално ширење. 


Међутим, радиоактивно распад тешких атома нема наведену препреку. Усудићу се претпоставити 
да све честице природе, укључујући и оне за које данас сматрамо да се не распадају, а које су „без 
памћења“, имају експоненцијалну законитост расподеле свог распадања 


Р(Е) = ае“!' 


где је # време, в је константа зависна од врсте честица, а а је константа нормирања вероватноће. 
То шире виђење експоненцијалне расподеле [41. Ограничења] прилично се уклапа у физику ових 
процеса (Рагшсје десау), иако не мислимо на исто. Супстанца памти и простор памти, углавном. 
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Корак од ове (хипојтезе је тумачење гравитација помоћу експоненцијалне расподеле вероватноћа 
(Простор-Време, 1.2.8 Вертикалан пад), где смо видели да је 


т = требм/тс“, 

Наиме, тело које пропада под утицајем гравитације планете масе М на удаљености т од центра 
гравитације, због повећања кинетичке енергије, Е, = т)с=  Е = тс“, добија на маси према 
законитости експоненцијалне расподеле. 6 је гравитациона константа, а с брзина светлости. Из 
наоко преједноставног извођења ове формуле следи иста зависност фреквенција, па све до саме 
метрике опште релативности. 


Случајна променљива ове „расподеле вероватноћа“ је убрзање (Сгамћанопа! ассејега оп) 


а 
===, раје Ме7ни, 


те“ 
при чему масу планете М треба поделити јединичном масом ради добијања бездимензионих 
величина за потребе теорије вероватноће. 


У време писања поменуте књиге (пре маја 2017.) нисам се усудио ићи толико ка данашњем ставу, 
о можда повезаности наведене формуле са експоненцијалном расподелом вероватноћа, све док 
нисам приметио и наводио извођење Ајнштајнових једначина гравитације из Ојлер-Лагранжових 
једначина. Познато је да се оне изводе принципом најмањег дејства – који сматрам еквивалентом 
минимализма информације. Та крајња идеја још увек је хипотеза, додуше „веома привлачна“. 


Претходно запажање о сметњама тежњи ка експоненцијалној расподели важи и овде. У све јачим 
гравитационим пољима развија се све већи отклон, па гравитациона сила као да мења своју нарав 
што ће доследно теорији информације бити због простора који памти. Зато гравитација повлачи за 
собом то више простора што је јача, па путања Мекрура постаје елипса чији перихел ротира током 
планете, а масивније галаксије стварају „тамну материју“. 


Настављајући приметимо да ће замена убрзања х брзином у, тела у слободном паду (Ра па Кгот 
Еезт) на датом месту, експоненцијалну расподелу превести у нормалну 


где дисперзија ас зависи од масе М планете на коју тело пада. 
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69. Диференцијалне једначине 

Претходна разматрања могуће је даље поопштавати. Наиме, када сматрамо да је информација у 
ткиву простора, времена и материје, а да је неизвесност њена бит, онда доследно све једначине 
физике треба размотрити као могуће једначине информатике. При томе можемо поћи од путања 
које су у познатој физици решења диференцијалних једначина најдаље другог реда. 


Посматрајмо шта се догађа са збиром две експоненцијалне функције (С), Су, а, ђ су константе): 


(ја Се 


у ==це ~=вн<бр "А, 
у =—а (је “— Фр бр 


Посматрајмо ове изводе као хомогени систем линеарних једначина са непознатима С) и С, које 
треба елиминисати: 


у —е 7 %х —е76Х 

у' ае“7Х ђе“бх = (0 

у" —а2е“%х —ђ2е“.бх 
у -1 —1 
у а 5|=0, 
ШД —а2 —ђ2 

а ђ |-1  –1 „11 = 
у |_аа ај = | а Г+У је ђ |=, 


(а – Б)[у" + (а + ђју' +ађ] = 0. 


Дакле, када а — ђ = 0, ово је диференцијална једначина другог реда (константних коефицијената) 
чије решење, полазну функцију у = у(х), можемо одмах писати познајући њене коефицијенте. А 
коефицијенте диференцијалне једначине у" + ру' + а = 0 са коефицијентима њених решења а и 
ђ везују једнакостир = а + ђ ид = ађ, који су заправо решења (по “) квадратне једначине 


72 + (а +ђ)т +фађ = 0. 


Важи и уопште, у математици, да линеарна једначина реда п = 1,2,3, ..., има свој карактеристични 
полином чији корени (који су решења припадне полиномске једначине 71,7, ...,7,, са некима који 
се понављају, или су комплексни бројеви) дефинишу експоненцијалне функције (Су е“'““, индекса 
К = 1,2,...,п) чији збир даје решење диференцијалне једначине. 


Пример 1. Када је ђ = а, тада је функција 
у) = (Сух + Сује“ 
решење горње диференцијалне једначине. То проверите непосредним уврштавањем. 


Пример 2. Када су решења карактеристичне једначине (а, ђ = а + :8) коњуговано комплексни 
бројеви, тада решење диференцијалне једначине можемо поједноставити овако: 
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= Сје ““(сов Вх + 1 зт Вх) + Се “> (сов Вх — ! зт Вх) 
= (С, + С, је“ 7% сов Вх + (С, — С,је“ “2 ап Вх 
= е" "(А сов Вх + А, 5 Вх), 
где су А,А, а, В константе. [0 


Тим познатим деловима математике сада додајемо (хипојтезу о вероватносној природи решења 
диференцијалних једначина. Њихово виђење као егзактних (детерминистичких) појава долази из 
разлика микро и макро света бар по питању закона великих бројева теорије вероватноће. Овога 
ћемо се држати док (ако) се не покаже супротно. 


Други додатак који доноси теорија информације је дубље разумевање комплексних бројева у 
физици. У 2. примеру, у случају да су С; и С, реални бројеви приметимо да је А, = (С, — С,) 
имагинаран, или обратно, ако су први имагинарни други је реалан. Тачније и први и други могу 
бити комплексни бројеви, али ми у теорији диференцијалних једначина кажемо да су они неке 
произвољне константе. Ту слободу математике даље преносимо на физику. 


Комплексна решења неких једначина физике, које класична теорија одбацује, сада третирамо као 
псеудо-реална, можда само привремено одсутна из реалности и присутна у њој „паралелној“ док 
се додатним операцијама имагинарности не пониште (Вура55). Одговарајући комплексни догађаји 
можда и даље негде постоје, али нам на датом месту и тренутку нису доступни. То су минијатурне 
варијације са становишта нашег макро света, због чега их олако одбацујемо. 


Пример 3. Једначина у = А чп(ох + ф) представља синусоиду, или таласно кретање (х је време), 
где је с) угаона брзина, а ф фазни помак. Први, па други извод дају у"' + оу = 0. То проверавамо 
диференцирањем и уврштавањем, или применом горњих формула. [0 


Овај пример показује колико је лако заметнути имагинарност решења диференцијалне једначине 
која представља таласно кретање. Наиме, из карактеристичне квадратне једначине 


т +0:=0 
добили бисмо њена решења 71; = +=, а затим и решења одговарајуће диференцијалне: 
у = Сјећох + Сре“ = 
= (С, + С;) сов (ох + (С; — С;) сов (ох 
= Ал сов ох + А; 511 (0Х 
= Азп(ох + ф). 


Приметите колико је пута у овим трансформацијама „гурнута под тепих“ имагинарност да бисмо 
на крају добили једну чисту реалност. 
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70. Комплексни простори 

У комплексној равни 2 Е (С апсцису називамо реалном осом а = Ке(2), а ординату имагинарном 
ђ = Гт(2), на слици лево. Угао од апсцисе до 
потега из исходишта 0 катачки 2 = а + :р је 
8 = агг (2). Дужина потега је [2] = ма“ + 52, 
број који називао модулом. Бројеви а и ђ су 
реални, а за број 2 кажемо да је комплексан, 
јер садржи реалан а и имагинарни сабирак 
!ђ. За имагинарну јединицу важи :2 = —1. 


Коњуговано комплексан број броја 2 такође 
је комплексан број 2 = а — :ђ. Апсциса је оса 
симетрије та два, а њихов производ: 

27 = 22 = (а + В)(а –— 5) = |2]2 
је квадрат модула. Понављам добро познате 
појмове елементарне математике, да не буде 


забуне у каснијем позивању на њих (Тгоигао). 


Када је дата реална функција ј (х), таква да је за сваку реални варијаблу х њена вредност реалан 
број, тада је [ (2) = Ј (2). То је такође елементарна ствар, па је овде не доказујем. Приметимо да 
збир ових коњугованих, као и њихов производ, дају реалан број. Има и других начина да рачуном 
добијамо реалне бројеве радећи са комплексним. То је (један од разлога) да у резултатима где се 
имагинарни или комплексни бројеви појављују у физици (5ојепо!а) дајем псеудо-реална значења, 
а да их (мојој) „теорији информације“ чак третирам једнако са осталим решењима. 


Пример 1. Са слике видимо да се иста тачка може писати помоћу косинуса и синуса: 
2 = |2|(со5 6 + 1110) = |2]е', 
јер је а = |2] созвиђ = [2] 110. Множећи овај са другим комплексним бројем: 
гу/ = |2||у/| (сов 0 + : зт 0)(согф + #51 ф) = 
= |2 || у/|[(сов 6 созф — 50 зп ф) + (5 0 соз ф + со5д чп ф))] 
= |2 | |ил| [сов(6 + ф) + : (6 + Ф)] 
= а уле +), 


Дакле, производ комплексних бројева је комплексни број модула једнаког производу модула, а 
аргумента једнаког збиру аргумената фактора. [0 


Множењем комплексних бројева сабирају им се аргументи, а множењем једног са коњугованим 
другим аргументи се одузимају. То нам даје могућност да косинус и синус углова изразимо само 
помоћу производа комплексних бројева, као у следећем примеру. 


Пример 2. За два произвољна комплексна броја и = и, Фшу иу = у, + ту биће: 


иу = (их – ту) (1 + Гу) == (иу + пуђу) + (ихђу – шу). 
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Коњугован овом производу је иг = иу = (ихуу + пуну) пи (ихђу – труву. Углови које производи 
тих коњуговано комплексних бројева граде са апсицсом су +ф = +4(и, 7), где предзнак означава 
смер угла. Пројекције модула (интензитета) овог производа на координатне осе равни (С, реалну х 
и имагинарну у, налазимо за косинус и синус: 


ихуу + иурђу = |[и||7] со ф, ихђу— иууу = |и||7] 51 ф, 


где је |] = |иг + из, [7] = |72 +игиф = 4(иу). О 


Сагласност резултата из 1. примера, множења реалних и имагинарних експонената показује се и у 
једнакости е бе! = е'(0+9), а сагласност резулатата 2. примера са основним тригонометријским 
идентитетом со52 ф + 512 ф = 1 лако је проверити непосредним квадрирањем и сабирањем. Оно 


што ћемо даље видети је извођење формула ротације у комплексној равни. 


Пример 3. Нека суи = и; + шу иу = у + Ту јединичних модула, [и] = |7] = 1. Тада је: 


| = (и2 + из ју; = (иу, + ијџуђу) – (ијџућу – и2у,) М 


ру = (72 + и2 ју, = (игру — ијиур,) + (ијиур, + и27у) 


ихух + иуђу ихђу — џуух . 
оне == = 1.005 — и, 5 
_ је ита У ши со 
Ји ихуу — иуђ ихИх + Муџу у 
ЈУ ДРА_-- == смс а == 5118 — џА, СО5 
Хаи У Тиј пи ас о 


Ато су формуле ротације и — ту за угао ф око исходишта 0. [Д 


Резултат овог примера лакше препознајемо ако га напишемо матрично 

(5) _ (созф —5тф (и) 

Уу] (чпф — созф / ул 

Овако задата ротација важи и за произвољне али међусобно једнаке модуле, [и] = |7]. Ротацију 
за испружен угао (1809) у равни називамо „централном 
симетријом“, ротација равни за угао 1809 око њене осе 
(праве) је „осном симетријом“, ротација 3-дим простора 
око равни за 1809 назива се огледалска или „равнинска 


симетрија“. Узастопне централне симетрије дефинишу 
„транслацију“, као што видимо на слици десно. 


Тачке А и С симетричне су у односу на њима централну 0, 0 4 У 
а Си В у односу на Е. Дуж РЕ је средња линија троугла АВС ~ ~ 56 
и, према томе, паралелна је основици АВ и има пола њене ~ 
дужине. Када су тачке 0 и Е фиксиране, две дужине РЕ су С 


вектор транслације тачака тог простора, каква је транслација из тачке А у тачку В. 


Свака изометријска (која чува удаљености тачака) трансформација може се добити помоћу самих 
ротација. Примењено то на физику, свака трансформација величина за које важи закон одржања 
је репрезентација ротација. Сматрам да отуда долази рецимо и израз Ф = ае'' за таласни вектор 
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слободне честице у квантној механици, где је а амплитуда а угао ф = (рт — Ег)/ћ. Посебно, два 
вектора р = (ру,ру,р;) и7 = (х, У, 2) представљају импулс и положај честице, Е је износ енергије, 
Е тренутак, а ћ = ћ/2п је редукована Планкоква константа (Егее рагшсје). 


Оно што је нама занимљиво у даљој примени поменуте „идеје ротације“ су примена теореме из 
наслова „41. Ограничења“ и уопштавање најављено у наслову „05. Хартлијева информација“, али 
отом потом. 


70.1. Вектори 

Да би боље разумели о чему говоре претходни примери, нарочито трећи, подсетимо се особина 
векторских простора (Квантна Механика). Геометријско представљање вектора са орјентисаним 
дужима је једно од најједноставнијих и најпознатијих. У горе приказаној комплексној равни2 Е С 
апсцису и ординату дефинишу узајамно окомити јединични вектори, рецимо ознака е; и Еј Тада 


комплексни број постаје вектор 2 = а + ђ = ав, + ђеу = (а, ђ). Наведени су равноправни записи 
истог вектора. 


Скаларни производ вектора, рецимо и = (иу, иу) и 7 = (у, пу), је производ њихових интензитета 

и косинуса угла између и · у = |||7] сов ф. Интензитет векторског производа вектора је производ 

њихових интензитета и синуса угла између |и х уј = || |7]| зт ф |, иначе вектор окомит на раван у 
којој леже дата два, осе јединичног вектора е,. На тај начин множења даће: 


бб =1, брбу=б, бр б=о, 6,'6,=1, 


— 


е, Хе; =0, е,Хеу=е,, вухе,; =—е,, вуХхеу=0. 


Затим, множећи дате векторе по компонентама, налазимо: 
17 = (ијб, фиубу)  (п,6, + тубу) = ију; + иуђу = [1]|7] со5ф, 
их' = (ијб, фиубу)х (пије, + 6) = (ијру – иууу Је, = || 7] 5 ф 6,. 


На следећој слици лево приказани су ови вектори и окомита пројекција другог на први. Видимо 
М правоугли троугао Оугу са катетама: 
|Ом/| = [07] созф, |улуј = |Оуј зп ф. 
То је и одговор на горње питање, да и,у, + иуџу 
представља доњу катету, а ихуу — иуу; горњу, а 
множене још само интензитетом доњег вектора. 


Када су вектори и и У јединични, они се налазе на 
јединичној кружници са центром у О, што значи 

на тригонометријској кружници истог исходишта, 
а поменуте катете буквално су косинус и синус тог 


Ф џ _ Угла(Ф). 


О 
М Међутим, вектори нису само „орјентисане дужи“, 


па ова тема тражи још пажње. 


Вектори су и матрице. Да за матрична множења не важи закон комутације видимо у примеру. 


Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


Пример 4. Дате су матрице другог реда: 


+ 4 БГ 
а за (рани. сео. 
НИЛИ УР _ 
1 – – 1 ђ+– 
а л + 
Нађимо њихове комутиране производе: 
је (ен) ||о зе ан 
па | 4 “ 2 
АВ = Ри 
де ђа парне (бену (2) 
“ 2 ВРТ 4 
1 1“ 1 
ађ – (а –Б)– (5) 4 а+ђ—- 
БА _ 4. 4. 2 
ВА = 2 
дер вани пау (2) 
“ 2 а иди јак "7 


Ови резултати нису једнаки, проверавамо одузимањем: 
МЕ ЧИ 
дЕ—Вај= (~ 1) 


Некомутативност није увек константна, као у овом случају. [Д] 


Резултат примера је друга матрица кватерниона (ОџаТегпјоп Пе!д5) другог реда. Писано помоћу тих 
кватерниона и комутатором: 


Квадрати кватерниона су негативне јединичне матрице, па су они у том смислу проширење појма 
имагинарног броја. У случају матрица другог реда то су три кватерниона: 


Ф, = (у 4). Ф= (5 о) Фе(; о 


За сваку од ових важи 0: = —1[, што је лако проверавати непосредним множењем. Аналогије 
броју један су Паулијеве матрице: 


Ре 01 ~ 0 –— РА 1 0 
С МЗ. „о и. ош. 
1 0 : 0 0 —1 
Непосредним множењем лако се проверава да за сваку од ових важи Р= = !. На тај начин, као у 
прилогу датог линка, успевао сам радити са 6-дим „простор-временом“, из којег се могу узети ма 
које четири координате, три просторним х, у, 2, а четврта имагинарном временском дужином 1сЕ. 


То је било пре више од деценије, али због моје склоности анонимности, за ширу јавност би та иста 
прича била још увек нова. 
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Нагласићу зато још једном, једначине опште релативности, као и многе квантно-механичке, веома 
се добро понашају у моделу 4 димензије простор-времена произвољно извучених из 6 димензија 
наводног простор-времена моје теорије информације. 


Линеарни оператори су такође вектори. У следећем примеру су два таква физике. 


3 Х а А ; 
Пример 5. Оператори импулса и положаја сур = та и х = х квантне механике. Они делују на 


таласну функцију на начине: 


МЕЗИ БИ о 
ру = ће Ху = ХМ, 
[р, Х]у = (0% – Хр)у = руу – Хру = 
„6 8 | ду, _ ду | 
_ - 2 ОУ) ћу = –ћ (м + х =) + ћх = = – ћу, 


[6,2] = –ћ. 
Ова једнакост је основа релација неодређености. [Д 


Репрезентације неких линеарних оператора (матрица) су процеси квантне механике, а вектора на 
које ови делују, су стања. Сходно томе, некомутативност оператора казује да је редослед радњи у 
микро процесима битан. Степен некомутативности исказан комутатором дефинише неодређеност 
код првог процеса када делујемо другим и обрнуто. Константна неодређеност из горњег примера, 
реда величине Ћ, је Хајзенбергова неодређеност импулса и положаја честице-таласа, а на тај исти 
начин дејства енергије и времена. При томе су имагинарности доследне теорији информације. 


70.2. Квантна стања 
Оператори су промене на стањима, а квантна стања су нарочите врсте вектора, таласних функција. 
Међу најпростије случајеве квантних стања спадају слободне честице: 


Му", 6) = деко) = дебФрР-ЕОЉ, 


где је А амплитуда таласа (мерљивост), р је импулс таласа, К је таласни вектор (број), 7 положај, Е 
енергија, време. 


Израз у загради експонента представља имагинарни угао ф = (р · 7 — ЕЕ)/ћ поменутих „ротација“ 
таласа-честице. Ако је угао ф = +пл у радијанима, редом за п = 0,1,2,..., биће е'% = +1, а у свим 
осталим случајевима е' је имагинаран број. Ми га у оба случаја третирајмо као експоненцијалну 
функцију и, доследно претходном излагању, сматрајмо да ова експоненцијална функција одређује 
неку „вероватноћу“, а њен логаритам одговарајућу „информацију“. Квантна механика већ познаје 
такву интерпретацију у Борновом закону, а овде чинимо још само један корак ка „заобилажењу“. 


Какав год је „угао ротације“ ф, таласну функцију џ држимо само за половину решења, обзервабле 
(физички мерљиве величине), док је стварна густина вероватноће налажења честице таласа: 


р'Е) = у Бук, ) = |у(г, 2), 
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где се уместо ознаке коњуговања 1/ уобичајено користи и ознака „у“. Поред овога треба знати да 
се таласна функција слободне честице често представља као суперпозиција сопствених функција 
момента, са коефицијентима датим Фуријеовом трансформацијом почетне таласне функције. О 

томе сам писао раније, популарно (Приче о информацији), или математички (Квантна Механика 
1.3.7 Ортогоналност), а можда ће опет бити прилика. 


Практично је уобичајена појава таласног пакета, који путује као јединица. Пакет таласа сматрамо 
бесконачним скупом компонентних синусоидних таласа различитих таласних бројева, али се може 
анализирати и парцијално, у паровима сабирака попут: 


и(х, 6) = Деб кх- 68) + Ве—Ккх-—е:), 


где је претходни таласни вектор К = (Ку Ку, К,) разложен у таласне бројеве К, а све три просторне 
димензије сведене (апроксимиране) на аспцису. Свака оваква компонентна таласна функција, а са 
тиме и таласни пакет, решења су (Шредингерове) таласне једначине. 


Доследно „теорији информације“, овде приметимо да се сваки линеарни оператор да раставити 
на факторе (разложити на композицију) линеарних оператора, посебно и сваки унитарни оператор 
(њихове су репрезентације процеси квантне механике) може се такође писати као производ оних 
унитарних оператора који представљају (под)процесе датим. То иде у прилог оном делу тумачења 
(моје) теорије где се држи да неизвесност природа извлачи и из бесконачности, те да је коначност 
само део реалности. 


На пример, увек можемо писати: 
(7, Е) = до Т-ађ) — А Ае то и а") пау 


што је алгебарски сасвим коректно, а сада имамо и информатичке интерпретације. Наиме, ма који 
скаларни производ може се разложити на два скаларна производа 


Ета кот –ФК'-т" 


као што се сваки број може писати као збир два броја, а исто је са временским додатком о. Онда 
је даље тачно и разлагање експонената, 237 = есер. То није спорно. Спорно је тумачење, да ови 
недељиви делови, које теорија информације такође познаје (Раскаве5), имају неке физици слабије 
видљиве састојке са својствима који би се могли показати не противречним (математичким), или 
ће бити разлог ревизије неких ставова данашње науке. 


70.3. Спрега 

Ова разлагања таласних функција, суперпозиције и растављања на факторе, воде нас директно ка 
облицима „информације перцепције“. То су заправо рачунски поступци присутни одавно, од самог 
настанка квантне механике, али као да су остали непопуларни због тада жестоких критика“. Они су 
део теме квантне спрегнутости (ЕРЕ рагадох) до данас више пута експериментално потврђене, али 
чије се непосредне теоријске основе још увек покушавају избегавати. Погледајмо део тог чувеног 


+А. Епзтејп, В. Родој5К! апа М. Возеп: Сап диатит-Месћаптса! Резспрпоп ог Рћучса! Кеаћу Ве Сопадегед 
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Ајнштајн-Подолски-Розеновог рада из 1935. године, којим откривају квантну спрегнутост желећи 
негирати ваљаност математике квантне механике. 


Нека су а1, а, аз, ... својствене вредности неке физичке величине А које се односе на систем | и 
и (ха), из (Х1 ), из (Х1), ... одговарајуће својствене функције, где х, стоји за променљиве кориштене 
за опис првог система. Тада у, сматрано функцијом од х, можемо писати 


мба, о) = У мабс ји Са) 
п=1 


где х; стоји за променљиве кориштене за опис другог система. Овде у „(х;) представља 
коефицијенте развоја у у ред ортогоналних функција и, (х1 ). Нека је величина А сада мерена и 
нађена јој је вредност ах. Тада је закључено да након мерења први систем остаје у стању дато 
таласном функцијом и; (х1), а да је други систем остављен у стању представљеном таласном 
функцијом А (х,). То је процес редукције таласног пакета; таласни пакет дат горе наведеним 
бесконачним редом редукован је на један сабирак у, (х)их (Х1). 


Скуп функција и; (х1) одређен је избором физичке величине А. Да смо уместо ове, бирали другу 
величину, рецимо В, која има својствене вредности ђ,, 6, 64, ... и својствене функције 
у, (1), 72 (Х1), из (1), ..., требали би уместо претходног збира имати 


уба2а) = > фабуиг Са) 
5=1 


где су ф; нови коефицијенти. Ако је тада мерена величина В и њена вредност била ђ,., закључак 
би био да се после мерења први систем налази у стању у, (х1) а други систем у ф, (Х). 


Даље се у том тексту примећује да последица два различита мерења на првом систему може бити 
да други остаје у стањима различитих таласних функција. А како време мерења два система није у 
међусобној интеракцији, сматрају даље, није могућа промена другог система као последица било 
чега што би могло утицати на први систем. Међутим, аутори превиђају могућност истовремености 
неког система док га други опажају у различитим временима, иако је таква ситуација веома важно 
полазиште Ајнштајнове теорије релативности. 


Ту је поента објашњења те квантне спрегнутости моје „теорије информације“. Износим је одавно, 
али прилично анонимно, па има смисла још једном поновити. Посматрајмо виртуелну сферу која 
настаје у средишту електрона и шири се као фотон. Говорим о Фајнмановим дијаграмима, али на 
начин ревидиран „теоријом информације“. У сваком кораку ширења та је сфера истовремена за 
себе, а за друге посматраче различито-времена. Као последица те различитости, њена евентуална 
интеракција са још неким набојем произвешће њено сопствено истовремено „пражњење“ које ће 
другима изгледати као да се дешава у различитим временима. Оно им се дешава и на различитим 
местима, па ће остали учесници догађај видети као „фантомско деловање на даљину“. 


Користим Ајнштајнов израз којим је описао не-локалне промене спрегнутих система, мислећи на 
два тако удаљена догађаја да светлост не би могла стићи од једног до другог. Када два спрегнута 
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догађаја не би могла бити истовремена (у сопственом систему), тада би „истовремена“ реакција 
другог иницирана променом првог заиста била „фантомска“. 


Слично је са две честице (Алиса и Боб) које настају распадањем и у истом се тренутку крећу на две 
супротне стране, рецимо збирно нултог импулса и спина. Оне ће представљати један истовремен 

систем за себе, али не и за остале. Интеракција једне одразиће се истовремено на другој, иако ће 

за треће посматраче ове честице тада можда бити предалеко за међусобну размену светлосних 


сигнала (Оџатшт ептапајетеп). 


Описао сам, а надам се и објаснио, једну врсту спрегнутости квантних система који још увек уносе 
можда и највише нејасноћа у своју област физике. Али те повезаности нису све оно што је битно за 
информацију перцепције, нити су можда најбитније. Постоје многе друге занимљиве интеракције 
малих система које се не дешавају истовремено, а такође обухватају исте „дуалне спреге“. Све те 
интеракције су комуникације, скаларни производи, па и информације перцепције. 


70.4. Фуријеови коефицијенти 

Простор вектора (низова) комплексних бројева у којем је дефинисан скаларни производ назива се 
унитарни простор. Простор Сл непрекидних функција на интервалу [—'п, п] је унитаран јер има 
дефинисан скаларни производ 


(а) = | год) а 


где се уобичајено пише (], 4) уместо Ј · 4. У том простору функције 
РО: 
/2л. 


образују ортонормиран систем вектора, јер је производ произвољне две: 


е(0) = к=0,+1,+2,.. 


п 


1 = 1, К="ћђ 
ш (К—п)Е – )> 
(ер, би) 21 | е 4Е је К Еп 


=7р. 


За произвољну функцију ј из наведеног простора број 


1 Г . 
фу = (Г,еу) = 1 | не а 


назива се Фуријеовим коефицијентом (Еошпег зепес), а 


со 


5(7) = > фре! 


Кк=—0оо 
назива се Фуријеов ред функције /. 


Кошијев низ вектора (функција, тачака) х; је низ чији елементи постају произвољно блиски један 
другом како секвенца напредује. Другим речима, низ је Кошијев ако за било коју малу позитивну 
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унапред дату удаљеност 2 > 0, су сви сем коначног броја елемената низа мање удаљени један од 
другога од те удаљености. Прецизније: 


(уг > 0) (3 ЕМ) (Утп > по) |Ха — Хо] < е. 
Простор у којем нема празнина, у коме сваки Кошијев низ конвергира, назива се потпун, односно 


комплетан простор. 


Пример 6. Нека је х, број добијен заокруживањем корена броја два (/2 = 1.414213562 ...) нап. 
децимала. Сви чланови низа тако заокружених бројева рационални су бројеви, он је Кошијев, јер 
конвергира, али број којем он конвергира (х, — М2, када п — со) није рационалан. У том смислу 
простор рационалних бројева (ф има празнине, а простор реалних бројева Е је потпун. [0 


Потпун унитаран простор зове се Хилбертов простор, а потпун нормиран простор Банахов простор. 
Ове дефиниције наводим ради лакше даље орјентације, јер нема потребе да понављам детаље и 
доказе из мојих ранијих текстова (нпр. Квантна Механика). Показаћу да делимични низ 5, (х), који 
садржи првих п чланова 5(] ), Фуријеовог реда функције ј, конвергира ка /. 


Пример 7. За сваки низ бројева Бо, 5, ..., 5, биће 


п. 2 п. п. 
Г- У ве] = (- У бево – У биво = 
к=1 к=1 к=1 


= р- У вео = У Бе) + У пере). 
к= је 


кј=1 


0< 


где је е1, 67, ..., еу ортонормирана база датог простора. Отуда 


п 2 п п 
Р- У век = у – У ок + У Бе – фу! = 0. 
к= к=1 к=1 


Трином у средини има најмању вредност ако и само ако је ђу; = фу. Дакле најбоља апроксимација 
вектора (функције) ј помоћу линеарног споја вектора 261, 6, ..., е, постиже се помоћу Фуријеових 


коефицијената. [] 
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71. Логаритам 

Функција је релација између елемената два скупа, домена и кодомена, при чему елеменат првог 
може бити придружен највише једном елементу другог. Тако, функција квадрирања / (х) = #- за 
једну вредност променљиве х из домена неће бити придружена двема вредностима ] кодомена. 
Обрнуто је функцијама дозвољено. На пример, / (2) = 4, што значи да се сваки од бројева плус 
и минус два може пресликати у по само један број (четири), али је обрнуто исти резултат могуће 
добити том функцијом пресликавањем два различита броја. 


Овде је важно да приметимо да ће инверзно придруживање (пресликавање) функције опет моћи 
бити нека функција ако и само ако је полазна функција била „бијекција“, обострано једнозначно 
пресликавање, односно таква која је за сваки оригинал могла давати само по једну копију. Даље је 
разумљиво да ће функције и њима инверзне функције, ако такве постоје, представљене графом у 
Декартовом правоуглом систему кооридната, бити осно симетричне у односу на симетралу | и || 
квадранта (праву у = х). 


На слици лево, плаво је граф експоненцијалне 
функције Ј (Х) = е“, а црвене боје је граф њој 
инверзне логаритамске / “(х) = 1п х. Они се 
осно пресликавају преко испрекидане линије 
чија је једначина у(х) = х, која је самој себи 
инверзна функција. 


Експоненцијална и логаритамска функција су 
бијекције и једна другој су инверзне, па је: 
е1х =%Х, ће: =х. 
Отуда, из: 
Х1Х; = 


еп Х1 11 Х2 =з ејахаНп 22, 
а са друге стране из 
и ејпба2), 
следи 
Та (х1х,) = 10 Х1 +1п Х 


када год су ови логаритми дефинисани. Такву „адитивност“: 


ГО) (а) = Јбц + 22), ЈГ '"баж)=ј ')+] (а), 
имају само ове две функције, експоненцијална и логаритамска. 


Са слике се види да је плави граф сав изнад апсцисе, а црвени десно од ординате. Другим речима 
кодомен експоненцијалне функције је позитиван број и управо зато је домен логаритма позитиван 
аргумент. Степеновање јединице (због 1“ = 1) не сматрамо експоненцијалном функцијом, па тако 
ни логаритам базе 1 инверзном. Међутим, свака база дозвољена експоненцијалној (5 > Диђ = 1) 
дозвољена је и логаритамској функцији; ако је [ () = 57 онда је / :(Х) = 105 Х. 


Како из 5“ = у следи [05 у = х, тако из ђ"“ = у" следи [обуг у" = х, што значи да степеновање 
истим бројем базе и нумеруса не мења вредност логаритма. Доследно томе: 
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1 
ову а" = птловуа, Тола = п 05» а, 
када су сви логаритми у изразима дефинисани, а отуда: 
ова = ов с198с8 = (Јов. а)]овр С 


и правила за промену базе логаритма, на пример: 


1 


| __ па | _ 
Об а  ррђ 56 – ова ђ 


У другој једнакости примењена је Јову ђћ = 1. 


71.1. Апроксимација 
Логаритамску функцију у; (х) = 105 х, у крајњим тачкама интервала [1,5] и унутар тог интервала, 
можемо апроксимирати правом у, (х) = (х — 1)/(ф — 1), као што се види на слици зађ = 4. 


Највећа разлика /(х) = у» (х) — у1 (0) је у стационарној тачки коју налазимо помоћу извода: 


= 
Јој = у; у = 10 х –—т 
Е 1 1 
тај ти 
ђ—1 
= бо 


а максимална разлика је број / (х)). Овај разломак (х)) је растућа функција базе, а случају базе 
ђ = 4, на слици, апсциса и ордината екстрема су х, ~ 2,164 и [ (ху) ~ 0,169. Као што се може 
погодити са те слике, заједничке тачке ових функција иначе су А(1,0) и В(Р, 1). 


Развоји следећих функција у Маклоренове редове: 
2 х" 


Ој в— ев— #е, 
2! п! 


п 


Пн 5 (15 
п(1 +х) = +=х 2 == = , 
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конвергирају за |Х| < 1. За још мање варијабле (х — 0) првих неколико чланова редова могу бити 
добре приближне замене самих функција. 


71.2. Информација 

У функцији у = е“, односно х = ]п у, варијаблу х у интерпретација дефинише информацију, а у 
вероватноћу. То примећује Веберов (1834) закон опажаја“, а експлицитно је изрекао Хатли скоро 
век касније. 


Пример 1. У декадном систему, базе ђ = 10, до М-то цифрених бројева је 107. Хартлијева (1928) 
дефиниција информације каже да је М информација таквог скупа са 107 једнако вероватних, или 
уопште, М је информација скупа са ђ“У једнако вероватних елемената изражена јединицама ђ (БН 
када је ђ = 2, па! када је ђ = е, дес! када је ђ = 10). 


Применимо сада Хартлијеву формулу, да информација М једнако вероватних могућности износи 
[ов М у одговарајућим јединицама информације и покушајмо је даље применити на комплексни 
логаритам. 


Ојлерова експоненцијална функција (:2 = —1) 
е“ = созб + :з10 

бијекција је за углове 6 унутар интервала 0 до 21 радијана, такође и од 2п до 4п, заправо унутар 
сваког интервала дужине периоде Т = 2п, при чему у том интервалу могу бити негативни углови. 
Комплексни број и његов логаритам, у поларном систему координата Отд, удаљености т тачке од 
исходишта О и угла 6 између апсцисе и правца тачке, су: 

2 = 772, Т082 = Ји + 18. 
То важи за сваки интервал периоде, па су ове функције периодичне, а отуда су и величине које се 
њима представљају периодичне. Комплексни логаритам је према томе генерализација природног 
логаритма на комплексне бројеве различите од нуле. Сматраћемо даље да бројеви 2 и [02 2 могу 
бити пар који дефинише „вероватноћу“ и одговарајућу „информацију“. Обзиром на значење овог 
угла 0 у квантној физици, његову пропорционалност са производом импулса и положаја честице- 
таласа, односно енергије и времена, ову информацију сматрамо еквиваленту дејству. 


Квантна физика за сада тежиште ставља на вероватнћама, дакле на експоненцијалним функцијама 
стања и процеса. Само на корак од њих је концепт информације о којој говоримо, бар онај део из 
непосредног ширења Хартлијеве информације. Промена такве 
дТова "0. 
=– + 10 
дЕ т 


зависна је не само од реалне вероватноће (7), већ и од отклона у имагинарност (8), што је можда 
разлог њеног слабог виђења у науци данас. 


Сабирање независних вероватноћа квантних стања (честица-таласа), или „квантна суперпозиција“, 
основни је принцип квантне механике. Слично таласима класичне физике, квантна стања се могу 
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сабирати („суперпоновати“) и резултат ће бити још једно важеће квантно стање; и обрнуто, да се 
свако квантно стање може представити као збир два или више других стања. Математички, то је 
својство решења Шредингерове једначине. Пошто је она линеарна, свака линеарна комбинација 
биће такође њено решење. 


Међутим, експоненцијална и логаритамска функција нису узајамно линеарне, па онда то нису ни 
вероватноћа и информација у свом најпростијем облику. Зато и даље остаје практично решавање 
Шредингерове једначине за вероватноће обзервабли, а затим дискусија информације. На пример, 
иако су експоненцијалне расподеле ае“ "2 и бе“н» за а, В > 0 добро нормиране, њихов производ 
аре“ (#+8)Х није. Зато „информацију перцепције“ 


5 = аза ве а -Вх + аобе (22+82)х + ТА 
чак и када представља производе низова расподела, можемо посматрати као посебну величину. 


71.3. Сила 
Пример 2. Сила опруге са утегом масе т: на њеном крају је 


В = –КХ, 


где је К константа опруге, а х(Е) је елонгација, или помак тела из равнотежног положаја. Њутнов 
други закон Е = та даје диференцијалну једначину титрања: 


тх + Ккх = 0, 


са хармонијском функцијом као решењем [69.] 


2п1 
х(Е) = А сов (7 + Ф), 


где је # време, а А,7, ф су константе. Прва је амплитуда, друга је период, при чему је ј = 1/Т број 
титраја у јединици времена (фреквенција), а угао ф је фазни помак. [0 


У примеру видимо решење (хармонијску функцију) једног веома реалног догађаја, испред којег је 
следио израчунавање помоћу комплексних бројева, па њихов нестанак у коначном резултату. То 
је нешто слично „заобилажењу“ (Вураз5), где „стварна“ честица одлази и у псеудо-стварна стања 
да би се поново појавила. За разлику од микро стања у којима се случајности могу боље виђати, у 
макро стањима доминирају закони великих бројева и оне, као и јасне преломне ситуације теорије 
хаоса, ретке су. Ми смо зато превише навикли да живимо без таквих, па лако поверујемо да нити 
њих, нити одлазака у „комплексни простор“ реалних честица уопште нема. 


дх 5 А А А : 
Оператор времена, 4,х = 5; = Х, тако делује да из својствене једначине Х = — Ах следи 


експоненцијална зависност: 


ах ах 
— = Ах, — = – ла, х=- 4 + СА, х= <Се "+, 
а; х 


где је С; = ехр Сј константа. Ове сам зависности анализирао раније у ИТ скриптама нарочито за 
случајеве параметра 2. > 0. Тада смо могли видети, када је реч о расподелама вероватноћа, да се 
ове односе на канале преноса информација који не памте. То су ситуације попут бацања новчића 
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када следећи исход не зависи од претходних, па до честице-таласа квантне механике која на путу 
не мари за своја претходна стања и увек је „као нова“ (доследно закону одржања). 


У истом примеру поучна је и сама диференцијална једначина Х = Хх, где је Х = —К/т. Она нам 
каже да убрзање (Х) опруге никада не мирује (осим у самој тачки промене смера, у исходишту), да 
је веће за веће истезање опруге (х) и сваки је пут усмерено ка равнотежној тачки (0). То је онај део 
хармонијске једначине који лако поопштавамо, рецимо помоћу „сила неизвесности“ на начине 
који их и интуитивно описују. 


На пример, виртуелне сфере [38.], које иначе не треба посматрати само као виртуелне фотоне из 
можда Фајнманових дијаграма, већ уопште као центре извесности од којих са удаљеношћу расте 
неизвесност. Пренесена у „стварност“, таква апстракција постаје модел хармонијског осцилатора. 
Силу која гура опругу и производи титрање сводимо на вероватноће и начелни минимализам из 
(моје) теорије информације. Сличан је и следећи пример. 


71.4. Својствене величине 
Пример 3. Временски независна Шредингерова нерелативистичка једначина 


Ну = Еџ, 
ћ _ 
|- 7 + кој џ(г) = Еџ(т). 


На левој страни једнакости је Хамилтонијан који садржи набла оператор 


02 02 ја 
У у = —_ + + – 
дх“ ду 02 
и потенцијал У (7). Таласна функција (7) и енергија Е су својствене оператору, што значи да их он 
само изнова и изнова репродукује, као канал преноса информације који преноси себи адаптирану 


информацију ни мало је не мењајући при томе. [Д 


На питање ми, може ли оператор бити „својствена вредност“ оператора и ако је одговор да како 
то објашњавам, одговор је позитиван следећим примером, а објашњење ћу изнети након тога. 


Пример 4. Временски зависну Шредингерову једначина придодајемо временски независној из 
прошлог примера. Њена је својствена једначина 


бо 
0,4(Х,) = – НК, 0), 


где је сада Хамилтонијан (оператор) са фактором (—:/ћ) својствена вредност, а уз претходну 
својствену функцију приписан је временски фактор. 0 


Што се математике тиче, оператори су врста вектора, а (једнокомпонентни) вектори су и бројеви. 
Репрезентација тог формализма на кванту физику, на пример, је да су први од поменутих процеси, 
други стања, а трећи вредности. То је, пак, само пуко становиште својствено нам, ни мало посебно 
ако се на васиону гледа са позиција „теорије информације“. 
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Процеси којима се подвргавају рецимо електрони у кретању под дејством електричног набоја не 
важе за честице без електричног набоја. Хоћу рећи, процеси су везани за стања (електрона) као и 
стања за процесе. Што их боље посматрамо видимо дуалност, симетрију између њих, коју алгебра 
несумњиво доказује. У томе је ствар у бољем схватање те алгебре и њених примена, сматрам. 


Додатно, полазећи од стварне неизвесности као структуре информације, а ове као ткива васионе 
којој припадамо, показује се да постоји онолико димензија времена колико и физичког простора 
(Оитепзјоп5) и, штавише, да су свих шест формално равноправне. Ово последње у смислу да је (са 
постојећим знањем теоријске физике) могуће, из 6-дим простор-времена васионе, издвојити било 
које четири димензије и три од њих х, у и 2 прогласити просторним, а четврту 1сЕ временском, и у 
таквом моделу наћи исте законе физике који важе и за наш. 


То би могао бити један једноставан расплет мистерије простора, времена и материје. У поређењу 
са оваквим информатичким, да оно што могу опажати чини неку „моју реалност“, да још субјеката 
мени сличних њу „подебљава“ и чини стварност утолико стварнијом, чвршћом, извеснијом што је 
више учесника могућих доживљаја, тренутно немамо добрих алтернатива. Разматрајући поставке 
ове теорије информације немојмо олако превидети огромност васионе, стања и процеса, њених 
„посматрача“ и прелако запасти у „себичност“. Потцењујући значај и количину других могло би 
нам нестати „магије“ ове теорије. 


71.5. Матрица 
Степена функција матрице дефинише се са 


Непосредно степеновање матрице није једноставан поступак, осим ако је матрица дијагонална, 
ако су јој сви елементи нуле сем оних на главној дијагонали. Тада је њен степен једнак матрици 
степенованих дијагоналних елемената, па је могуће израчунавање и других функција развојем у 
степене редове. 


Квадратна матрица М је недефектна (може бити дијагонализована) ако је „слична“ дијагоналној 
матрици А. Тада постоји инвертибилна матрица В тако да је М = ВАВ“, или еквивалентно томе 
А = В"'МВ. Затим израчунавамо: 

02 = МИ = (ВАВ-УУ(ВАВ-7) = ВАВ“, 


ут9а = И"И = (ВА"В-1)(ВАВ-7) = ВАТА АЕ, 


Иначе, степен матрице није матрица степенованих коефицијената (осим ако је дијагонална), нити 
је логаритам матрице једнак матрици логаритама. 


Из алгебре знамо да се налажење сличне матрице датој своди на тражење својствених вредности 
Х и одговарајућих својствених вектора Х, тако да је МХ = ХХ. На дијагонали матрице 4 налазе се 
пронађене својствене вредности, док ће јој сви остали елементи бити нуле. 
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Пример 5. Налазимо експонент матрице: 
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1 2—% 1 
2 2 3—% 


Након решавања ове кубне једначине налазимо три својствена решења 7. = 1, 2, 3. Даље тражимо 
њима одговарајуће својствене векторе, редом МХ, = Хур, за Ху 6 [1,2,3): 


4 а ера 51 
| 2 :) би | ов ин | Ба | 
22 3718/. ЖЕ 


(У ИЕ –1 7/8 0 
1 а-м 1 )(5 - (о) 
2 2 3— 716], У 


| 
ЈА 

|| 

о 


Непосредним матричним множењем проверавамо да је ВВ =1В = |, а то значи да је 


– 100 
А = (а 2 0), 
003 


„8 = В(е1)8-: = 


1 –—2 1 е' 0 0 0 —1 1/2 
0 2: =2 Ур 0. 2771. =4 =4/2 


Исти је поступак за израчунавање логаритма матрице, када уместо е“ завршавамо са 102 1. 0 


Логаритам матрице М може бити комплексна матрица чак и када је М реална, јер матрица са 
реалним и позитивним коефицијентим може имати негативне или чак комплексне својствене 
вредности (на пример матрица ротације). Отуда долази и нејединственост логаритма матрице, 
која је последица нејединствености (периодичности) логаритма комплексног броја. 
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72. Слични оператори 

Линеарни оператор ј обично дефинише адитивност (Ух,х; Е Х) ГО +) = ЈОба) + [ Ор) и 
хомогеност / (ах) = ај (х), што важи за сваку променљиву (х) из домена (Х) и сваки тзв. скалар 
(а Е Ф). Адитивност и хомогеност дефинишу линеарност 


(уху е Х)(Уа,В ЕФ) ј (ах +Ву) = ај (х) + ВЈ). 
Множење константом и извод линеани су оператори, јер: 
С'(ај + Вд) =ас-ј +]С- д и (ај +89) =ај' +В9', 


као и интеграл. Зато је и Хамилтонијан 
пе = = + У(Т) 
2т. 
линеарни оператор. 


Захваљујући дефиниционим особинама, домен линеарне функције може се испарцелисати на низ 
сабирака, на различите начине. Кажемо да низ 61, 6, ..., е, разапиње такав један простор Х, да је 
база, ако се свако х Е Х може писати као линеарна комбинација елемената низа, дакле ако је 


п 
х = > србву обркбенеј 2 Ф. 
к=1 


Тада и слике датог низа ју, = Г (еј), редом за К = 1,2, ...,п, било којег линеарног оператора истог 
домена, 1: Х — У, разапињу простор У слика, односно простор кодомена оператора. Наиме: 


1х = > скрек = ђз оке 
к=1 к=т 


Поред тога видимо да је деловање оператора потпуно одређено деловањем на базу простора, да 
су два оператора једнака ако на њу једнако делују. 
Јединствено одређење линеарног оператора А пресликавањем база простора изражава релација 


т. 


Ае) = У шћ, ј= 1,2,..,п 


1=1 
која елементу А Е (Х" — У") придружује једну и само једну матрицу А = (Ор Ова релација 
се може користити као дефиниција матрица, за доказивање особина матрица а затим и линеарних 


оператора. На пример, множење матрица (композиција оператора) асоцијативно је али није увек 
комутативно. 


Пример 1. Дате су две матрице другог реда: 
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Како је АВ + ВА, оне нису комутативне. (0 


Процеси, њихови оператори и матрице, нису комутативни када је битан редослед радњи. Није нам 
свејдено решавамо ли неки тест па рецимо једемо бунике, или урадимо обрнуто. Ако први процес 
утиче на следећег, онда се може десити некомутативност композиције (производа) њих два. Боље 
речено, када су токови независни један од другога они су тада комутативни. Као бацање новчића, 
где следећи исход не зависи од претходних, за комутативне процесе можемо рећи да „не памте“ 
своја претходна стања, или да су константни. 


Тако је комутативна матрица сама са собом, јер је константна, али и процес који је реверзибилан 
комутира са својим инверзним, јер се у композицији њих два стално враћају на исти почетак, или 
крај. Познате су нам многе теореме које ово доказују, па не шкоди да их разумемо и интуитивно. 


72.1. Реверзибилност 

Нека је производ две матрице јединична матрица, или замислимо композицију процеса и њему 

инверзног процеса, линеарног оператора и њему инверзног. Такве ће једнаке векторе преводити 
само у једнаке векторе; једнаке копије даваће само једнаки оригинали. Наиме, реверзибилност 
претпоставке значи управо то, да из једнакости слика произилази једнакост ликова. О томе је реч 
у следећим лемама (малим теоремама), у коначно димензионалним векторским просторима. 


Лема 1. Ако је АВ = [, онда из Вх = Ву следи х = у. 
Доказ: Следи из низа импликација: 

Вх =х Ву > В(х–—у=0 = АВх–у)=0 = (х–—у)=0 > х-у=0. 
Дакле х = у и тврђење је доказано. Ш 


Дакле, пресликавање В је бијективно (из копија следе јединствени оригинали), па је одговарајући 
систем линеарних једначина Вх = у регуларан (има јединствено решење), ранг матрице В једнак 
је броју непознатих, а њена детерминанта није нула. 


Пример 2. Нека је ова друга матрица једнака инверзној провој из 1. примера: 


= њи ла дА_ 1 – 
Ае (Ср др Ва нил“ 26 5) 


|] 
29, 
|| 
бо 
~ 


Тада из следи: 


(7 2 СЈА С Ба) 
5 — 2х; = фу, — гу; 
7Х1 | 5%Х, = Ту – 5у, 


| = у) = (да — уз) = 0 
Та – Уу1) — 502 – у) = 0 


х-—ул=0, хг—уг =0, 
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дакле, х = у. О 


Лема 2. Ако је АВ = Г, онда из линеарне независности вектора 1, 4, ..., И, приизилази линеарна 
независност вектора 7, = Ви,7, = Ва, ..,У, = Ви, (ни један од линеарно независних вектора 
се не може представити као линеарна комбинација осталих). 


Доказ: Ако су вектори шу; линеарно независни, онда из У! ауш, = 0 следи да је сваки од скалара 
ак једнак нули. Дакле, биће У, акик = 0, ако бар један скалар није нула. На основу претходне 
леме је 0 = ВО + ВУД _, ари = Уб дуВиј = Уб, ду, а то је линеарна независност вектора 
Ру такође. ш 


Пример 3. Матрице из 1. примера имају следеће својствене једнакости: 
4 (о Је (07 јен 
В: (5 Е (7) и (7), (5 ке] (25) Бо -- (а) 
што је лако проверити. Својствени вектори прве независни су, а такође и друге. [Д 


У условима претходне леме, када су вектори и; базни простора Х, а њихове слике у,, = Ви; базни 
простора У, онда је произвољан вектор у Е У облика 


Према томе, за сваки вектор У 6 У постоји вектор Х Е Х такав да је у = Вх. Отуда следећа лема. 
Теорема 3. Ако је АВ = 1, онда је ВА = [. 
Доказ: Из датог услова следе претходне леме и додатно: 
(ВА – [ју = (ВА – [)8х = (ВАВ – В)х = |В(АВ – [)|х = (80) = 0% = 0. 
Отуда ВА = |, па је теорема доказана. ш 


Теорема утврђује да за инверзне матрице, па и за линеарне операторе, важи закон комутације. То 
је оно што смо претходно разумели интуитивно, а даље погледајмо како се исто може доказати и 
самим свођењем на контрадикцију. Ако претпоставимо да је АВ = Ги Х неки вектор којег ВА неће 
пресликати у самог себе, онда је: 

Вх + ВА(В7) = 8(А8%) = В(Т2) = ВУ, 
а то је контрадикција. Претпоставка је нетачна, не постоји такав вектор, тј. ВА = Г такође. 
Резимирајмо. Узајамно инверзни линеарни оператори, процеси које представљају као и припадне 


матрице, комутативни су. Они представљају бијекције (обострано једнозначна пресликавања), па 
су и векторски простори њима пресликани једнако димензионални. Колоне (врсте) такве матрице 
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72.2. Дијагонализација 
Дијагонална матрица Б је квадратна која само на главној дијагонали има ненулте елементе. Она је 
комутативна са сваком матрицом А истог реда. То је очигледно, ако имамо у виду примере попут: 


= 12 зл/а 0 0 а гђ Зс 
Ар = | ) ( ђ ) = (за 5ђ с) 
7 9/ 0 С ја Вђ 9с 


5 

8 
а 0 0/1 3 а гђ Зс 
Ба = (5 ђ о)(4 в) = (ла 5ђ с 
00 с/7 879 ја Вђ 9с 


Поготово су две дијагоналне матрице истог реда увек комутативне. 


ло~ о 


Дијагонална матрица са свим ненултим дијагоналним елементима има инверзну (регуларна је): 
ЕД а 0 Ол/а“": 0 [0] 1 0 0 
Бр = (5 ђ о)" ђ“1 о | о 1 о), 
00 с 0 0 ст: 001 


Својствене вредности дијагоналних матрица управо су њихови дијагонални елементи. То је такође 
очигледно, на основу примера: 


када је ађс = 0. 


бх=>4<% = (рБ-Ајх=0д = 


а—– А 0 0 
0 ђ— 1 0 
0 0 Сс— А 


(а – 2 – 2(с– 2) = 0, 


а отуда, својствене вредности су А = а,/; =ђ и Ла = с. Одговарајући својствени вектори следе 
из једначина ОХху = АуХу, за индексе К = 1,2, 3. Први је: 


рж = Ла = рх, == пј = 
а 00 Ел Ел ас ас 1 
| ђ ) > =а > => ђе, = ас, => Х = (9) 
00 с/18 " -> Сб ао4/, 0 


1 
ако су а, ђ и с три различита броја. Слично налазимо: 


0 0 
0 1 


тако да је Вх, = ђх, и БХз = сха. Приметимо да матрица колона својствених вектори дијагоналне 
матрице мора бити или јединична, или је нека пермутација колона јединичне. 


1 


Мало је сложенија ситуација са произвољном инвертибилном квадратном матрицом А коју треба 


добити множењем са дијагоналном. 
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Лема 4. Нека је А квадратна матрица п-тог реда са својственим вредностима Ла, 12, --, Лу И Њима 
припадним својственим векторима 71, 1, ..., У, тако да је Ду, = Лрур за К = 1,2,...,п. Нека је С 
матрица чије колоне су ти својствени вектори, а [)) је дијагонална матрица чију главну дијагоналу 
чине редом наведене својствене вредности. Тада и само тада је АС = СВ. 


Доказ: Под датим условима: 


А 


а отуда АС = СВ. Тиме је став доказан. ш 
Приметимо да ова лема доказује исправност поступка у недавном примеру [71.5. Матрицај. 


Теорема 5. Матрица п-тог реда може се дијагонализирати ако и само ако има п линеарно 
независних својствених вектора. 


Доказ: Нека је то квадратна матрица 4, нека она има п линеарно независних својствених вектора. 
Тада је регуларна матрица С. претходне леме, чије су колоне ти вектори, њен је ранг п. 


Обрнуто, ако се А може дијагонализовати, онда, по дефиницији, постоји регуларна матрица а 
таква да је р = С" ТАС дијагонална. Претходна лема тада каже да ће колоне С бити својствени 
вектори А. Како је 6 регуларна, или што је исто инвертибилна, то њених п колона морају бити 
линеарно независни вектори. Према томе, 4 има п линеарно независних својствених вектора. шт 


72.3. Комутативност 

Видели смо да су независни процеси комутативни. То су они који се узајамно не узурпирају, затим 
таква су два корака истог константног процеса, кажемо оног који не памти, или помало неспретно 
названог „акутног“ процеса који је једнократан и не акумулира се, за разлику од „хроничног“ чије 
је дејство дуже и погоршавајуће. Следећи став открива такве међу матрицама. 


Теорема 6. Две матрице које се истовремено могу дијагонализовати су увек комутативне. 


Доказ: Нека су А и В две такве квадратне матрице реда п са истим низом својствених вектора 71, 
75, ..., Бу. Како се Див могу симултано дијагонализовати, постоји база вектора заједничка за обе. 
Означимо припадне својствене вредности матрице А са 21,4, ..., фу, а матрице В са 61, 6, ., Ву, 
тј. нека је А, = арују и Вуј = Врур редом за К = 1,2,...,п. 


~ 


Тада је матрица С, чије колоне су вектори 77, 77, ..., Ур, таква да је А = Сб„С“' иВ = Сб; с“, где 
су Ва и Бр дијагоналне матрице својствених вредности ај, и Ву матрица А и В дуж дијагонала. Да 
Ва и Бр комутирају јасно је (72.2), а затим налазимо: 
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Тиме је теорема доказана. ш 


Када сигнал жмигањем на раскрсници у саобраћају не би имао значаја, онда би било свеједно да 
ли возач прво укључи жмигавац па скрене у бочну улицу, или прво скрене у бочну улицу па најави 
скретање. Тада би жмигање и скретање толико много припадали истом „свету“ (простору вектора) 
да није потребно „подебљавање“ (понављање, наглашавање) тада заправо „једне те исте“ радње. 
Међутим, знамо да постоје саобраћајне несреће због непоштовања сигнализације пре скретања, а 
то онда значи да те две радње припадају делимично различитим „световима“. 


Оператори потпуно различитих векторских простора (наводних светова) опет су комутативни. Онај 
пресек таквих, који чини да та два простора интерагују (узурпирају један другог), учиниће процесе 
некомутативним. 


Пример 4. Систем линеарних једначина 


аа1Х1 + Ћ адуХу = У1 


Оудху + + дућуп = Уп 


интерпретација је линеарног пресликавања А: х — у, као и матричне једначине (АХ = у). Такав 
систем има јединствено решење ако и само ако његова главна детерминанта, или детерминанта 
матрице, није нула (де: 4 = 0). Матрица система је регуларна, значи инвертибилна и има колоне 
(врсте) линеарно независне векторе. 


Када две регуларне матрице истог реда, са по п вектора колона и по п компоненти сваког од тих 
вектора, имају заједнички сопствени вектор – оне су комутативне. Наиме, из Ду = ар, Ву = Ври 
регуларности матрица А и В, биће: 

АВо = А(В») = 4(87) = В(А7) = Ва, 
ВА = В(А2) = В(а7) = а(Ву) = аву, 
а затим и комутативност ових матрица. О) 


Један од најпростијих примера нерегуларних некомутативних матрица је: 
0 17/0 0у—_/1 0 
| ДА 16 0) 
0 0у/0 1770 0 
(1 ој от (о 1) 
Иначе је комутативно множење произвољне матрице (истог реда) са јединичном матрицом, нула 


матрицом и дијагоналном матрицом. Производ две матрице ротација комутативан је. 


Славни пример некомутативности у квантној механици су Хајзенбергове релације неодређености. 
Када се фотоном (светлошћу) гађа електрон ради одређивања му положаја, преноси му се импулс. 
Што је мања таласна дужина фотона то му је већи импулс, тада је тачније одређен положај мете, а 
нетачнији увид у импулс. Положај и импулс електрона, а тако и енергија и време, у просторима су 


који се тако делимично преклапају да су њихови процеси некомутативни. 
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Некомутативност неких линеарних оператора (матрица) неотклоњива је, принципијелна је ствар 
алгебре која доводи до принципа неодређености. Отуда је и неодређеност која је постулирана у 
(мојој) „теорији информације“ принципијелна ствар која наговештава да је та теорија на добром 
путу. 


Неодређеност је релативна. Зато комуницирамо (интерагујемо) јер немамо све информације које 
нам требају. Ловац спрема клопке за дивљач која не зна шта јој се може десити. Неодређеност је 
слојевита. Она напредује као што савремена цивилизација „осваја“ науку, корак по корак, упорно 
али никада не стижући до коначног циља. Нека неодређеност увек постоји изван ма како великог 
скупа знања, каже нам Геделова теорема немогућности. 


Ево на крају и једног занимљивијег од алгебарских доказа принципа неодређености. Очекивање, 
или средња вредност случајне променљиве, овде обзервабле А (физички мерљиве величине коју 
може представљати и линеарни оператор, матрица или реална својствена вредност) је и, = (А). 
Варијанса, или средња вредност одступања променљиве од средње вредности је ДА = (А — џл). 
Исто важи за обзерваблу В. 


Пример 5. Корени варијансе, дисперзије варијабли а, = ДА и дз = АВ, њихове су неодређености. 
Додатно, оне могу деловати на таласну функцију у као оператори. Тако је: 


|(ДА + ЛАВ) || > 0, 
(џ, (ДА — :ЛАВ)(ДА + (ЛАВ уџу > 0, 


(у, (сда)г + 2 (АВ)г + :А(ДАДВ — АВДА)) џм)= 0, 


(ДАЈ2 + 27 (АВ)г + АДА, АВ] > 0. 
Овде је комутатор: 
[ДА, АВ] = ДАДВ — АВДА = 
= (А — идуВ — ив) – (В — ивхА – ил) 
= (АВ — Аџв — Вид + Идив) – (ВА – Вид — Аџв + ИдИв) 
= АВ — ВА = [А,В]. 


Сменимо ово горе и добијамо квадратну једначину свугде ненегативну, по непознатој /. Њена 
дискриминанта зато је ненегативна и отуда 


: 
ЛА АВ > САВ]. 


Ово је стандардна Хајзенбергова релација неодређености. У 5. примеру наслова ,„70.1. Вектори“ је 
израчунат комутатор импулса и положаја [р,%] = —тћ, па је А) ДАХ > ћ/2. 0 


6 С. Соћеп-Таппоџађ, В. О џ, апа Е. [а!ов, иапит Месћап!с5 (јоћп МЛеу апа 5оп5, Мему Уогк, 1977), Мо!. 1, рр. 


286-287. 
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72.4. Комуникација 

Производ неодређености две обзервабле реда је величине комутатора. Као што смо видели, они 
говоре и о површинама, о оне о информацијама [30. Комутаториј. Те ће се идеје уз Хајзенбергове 
неодређености, које онемогућавају крајње детерминисање интеракција, показати згодне за даље 
ширење појма информације, као што је најављено у књизи Информација Перцепције (2016). 


Неодређеност положаја може се посматрати и као густина вероватноће налажења честице-таласа 
на датом месту када она појашњава Комптонов ефекат (Простор-Време, 2017). Препознајемо га и 
као промену путање електрона на мање вероватну, не без дејства силе (судара са фотоном). Томе 
додајмо да производ неодређености импулса и положаја може бити и мера комуникације честице 
на путањи. Укратко, комутатори су неодређености који информацији дају на значају. 


Елементарне опције елементарне честице такве су јер их можемо налазити у мноштву код већих, 
сложенијих система. То је претпоставка, наравно, а отуда информација перцепције: 


5 = ЛАЈАВ, + ДААВ, +: + ДАДАВ, 


предмета који комуницирају на п начина. Ови сабирци су неодређености, односно дејства, реда 
величина комутатора обзервабли А; и Ву, редом за К = 1,2,...,п. 


Информација је нарочита мера реализоване „количине неизвесности“. Теорија каже да тај износ 
не може бити нулти нити за једну реалну честицу, у произвољном њеном „тренутку“ (интервалу 
времена унутар којег је није могуће тачно детермнисати). Она „честица“ која не комуницира, за 
нас је псеудо-реална, или непостојећа, јер способност преноса информације, било посредно или 
непосредно, између два пријемника потврдаје њихове узајамне реалности. То је једна од првих, 
давних ставки са којом са започео „теорију информације“. 


Напомињем још једном, посебност псеудо-реалности, или паралелне реалности, или имагинарне 

реалности (Вура55) је способност реалне честице да „изабере“ одлазак тамо као и повратак у нашу 
стварност. У тој важе закони одговарајући нашим, а сам процес „заобилажења“, већ сам исувише 

помињао (нпр. [агега!). За разлику од честица псеудо-реалности, оне „непостојеће“ честице не би 

имале нити ту мајушну могућност појављивања у нашој реалности, или шетања из и у њу. 


Већа таква „заобилажења“, или простије индивидуалне одласке, односно доласке из оне у нашу 
реалност, ограничава закон великих бројева теорије вероватноће. 
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73. Матрица расподела 

Матрица чији су ретци (колоне) расподеле вероватноћа назива се стохастичка. Ако су то и ретци и 
колоне, ненегативни бројеви јединичног збира, она се назива дупла стохастичка матрица. Канали 
преноса информација обично су такве. 


Пример 1. Дата је квадратна дупла стохастичка матрица другог реда 
> а ђ 
К = ) 
(Е а 
гдејеа +Фђ = Тивфђ > 0. Квадрат ове матрице 


та (8 +52 — 2ађ ) 
гађ  аз+ђ2 


опет је дупла стохастичка матрица, јер а2 + ђ2 + гађ = (а + ђ): = 1. Тада је 
1 2 2 
2 са- +љђ<“- са <1, 


1 

2548 + И –аг<а<1, 
што је тачно, јер решења квадратне неједначине 222 — За + 1 < 0 управо су бројеви а Е (1/2,1) 
датог интервала. [0 
Пример 2. Дупле стохастичке матрице (а +>"ђ = Тиађ> др+а = 1ић,а > 0) комутативне су: 


ђ ђ 
боја 2) (рад ра»ар) 


ђ рђ 
(% Уб је (цачре др +ра 


а њихови производи: 
(ар + ба) + (ада + бр) = а(р + а) + Б(а +р) =а+ђ =1 
увек су неке дупле стохастичке матрице. [0 


Први пример показује да дупла стохастичка матрица множењем (надовезивањем у ланац) постаје 
све ближа „црној кутији“, међусобно једнаких вероватноћа својих коефицијената. Настављањем у 
дуги низ канала она даје све дужи ланац, такође канала: 


К,К2,К“,..,„К:" ~ К“, кадап о. 


Гранични, далеки канал (К >) има уједначене коефицијенте, само јединицу за сопствену вредност 
и само један сопствени (својствени, карактеристични) вектор: 


1 1/1 1 
2 21 2)_[2 
1 1)11 1 | 
2209 5 
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То смо доказивали различитим теоремама раније, а подсећамо се ради лакшег разумевања тих 
случајева у недавним резултатима о сличним операторима. 


Црна кутија је канал који гуши и не саопштава информацију, па кажемо да је „не преноси“, 

0.55 0.5 .) _ (0.55 

(5 Р) (а (о) 
када је р + а = 1. Системи које оне представљају међусобно не комуницирају, нити комуницирају 
са двоструким стохастичким каналима. 
Пример 3. Израчунавамо комутатор „црне кутије“ и произвољне матрице другог реда: 
[К“,М] = КУМ – МК“ = 
п- (0 на (5 5) _ |- 5) (55 
055 057 а с 47%0.5 0.5 
– – –ђ а4– Еј 
2 лаа—–а ђ-—с7 

Резултат је нула матрица, односно комутативност ако и само акос—ђ = а – а = 0. Дакле, да би 


црна кутија комуницирала са матрицом М (другог реда) потребно је и довољно да та бар на једној 
од две дијагонале нема једнаке елементе. [] 


В Ра Матрице ротације нису комутативне са Ко. Занимљиво је 
7 да комутатор горњег примера добијамо множењима прве 
Ра Паулијеве матрице [70.1. Векториј. 
4 , 
о Пример 4. Израчунавамо комутатор Паулијеве и било које 
7 матрице другог реда: 
Е |“ А [5 М] = РМ – МР, = 
„“ = (5 „(5 5) _ (4 || 1) 
пи" . | а [о 4“ = 
„“ је ) _ 5) = је= – а 
# Е (а ђ (а с [0 с) 


а половина овога је комутатор 3. примера. 


Паулијева прва матрица интерпретација је рефлексије 
:С вектора око симетрале првог квадранта (Б;: ОА > ОВ), а 


– 


трећа око х осе (25: 0А 06). То демонстрира слика лево: 


К 01 __ [У 5 ~ (1 0 >) _(% 

Рур МЕ 0) (у) = (о = (Е к (; 6: [5] 
Укратко, процеси су врста „стања“ са којима друга стања могу комуницирати. То је кратак и нагли 
заокрет са интеракције на информацију о којем вреди расправљати. 


жжж 


Питање: Можете ли ми појаснити о каквим се то „комуницирањима“ ради...2 
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Одговор: Матрице представљају линеарне операторе, ови процесе, развоје или промене стања 
рецимо квантне механике (тамо је таква метода скоро једина и изванредно је тачна), али и иначе. 
Разлику променом редоследа операција називам „комутатором“, а таква за импулс и положај, или 
енергију и време, представља Хајзенбергове релације неодређености. 


Физичка димензија поменутог комутатора је физичко дејство, он сам је квант дејства, минимална 
интеракција физичког света, али у (мојој) теорији информације исти је и еквивалент минималној 
„комуникацији“. Оно што не комуницира не интерагује (са нашом реалношћу)ј, а интерагују стања 
са стањима (честице и честице), па и процеси са стањима и са процесима. 


Електрон нерадо емитује своју неодређеност у облику информације, али се нађе у изнудици када 
га погоди фотон и бива принуђен да комуницира. Честица рецимо ода део свог положаја, у замену 
за део неодређености тада импулса. Мерење је интеракција предмета посматрања са апаратуром, 
а сада само додајемо да се ту ради и о еквивалентном преносу информација тамо и онамо. 


Расправљано је (доказивано) такође да „црна кутија“, неми канал преноса информације, али која 
заправо гуши и не саопштава примљено, па у том смислу дезинформације кажемо не прослеђује 
информацију, комуницира на начин Паулијевих матрица. Оне су само детаљ ширих комуникација 
са ротацијама. Што се тиче ових других, знамо да се свака количина за коју важи закон одржања 

(материје, енергије, информације, у геометрији изометрије), може свести на, представити самим 
ротацијама. 


Утолико поистовећивање комутатора са комуникацијом постаје значајније. Док некомутативност 
процеса говори о некој „количини неизвесности“ (информацији) коју они међусобно размењују, 
дакле о интеракцији међу процесима, дотле комутативност говори о одсуству интеракције, па ио 
томе да нема комуникације. 


Питање: Канал који не преноси информацију еквивалент је Паулијевим матирцама 2 


Одговор: Тако некако. Тачније „црна кутија“, или канал који преноси превише информације, који 
зато дезинформише гушећи је, комуницира са бинарним процесима (матрице другог реда) онако 
како би то радила прва Паулијева матрица... 


жжж 


Питање: Да ли сте приметили да је сам комутатор антикомутативан и да је формално фермион> 


Одговор: Да, таква је разлика парова производа типична за фермионе7, али ту сам причу оставио 
за касније. Оно са чиме се комуницира су честице за које важи Паулијев принципу искључења, што 
подразумева да дати систем нема две идентичне те врсте, два фермиона, који би се у исто време 
нашли у потпуно истом стању. То је у складу са становиштем да је неизвесност бит информације. 


Са друге стране, то је у складу и са начелном штедљивошћу емисије информације. Наиме, спонтан 
раст ентропије супстанце прати такође спонтан пад информације датог система. Тежња за мањим 
титрањем молекула гаса (који би да се хлади) уједно је и тежња за мање њихове комуникације. А 
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затим долази мало већа (просечна) вероватноћа преласка фермиона у бозоне, него обрнуто, што 
је наставак ове идеје о којој сам већ писао и који бих за сада прескочио (ВЈ Вапв). 


жжж 


Питање: Ваши прилози теорији информације били би и даље оригинални, али популарнији и 
интересантнији многима, када бисте их преносили и на друштвене појаве, зар нег 


Одговор: Да, слажем се и то понекад урадим, додуше на мој апстрактан начин. Погледајте „Приче 
о Информацији“. Друштво је нешто између „живог“ и „неживог“ бића, скалирано информацијама 
(количином опција, могућностима бирања, способностима деловања), а тек затим нешто друго, са 
становишта моје теорије. Живо биће то је што је јер има вишак информације у односу на неживо и 
зато већу слободу деловања. 


За сву нама познату мртву твар физике важи принцип најмањег дејства; све трајекторије кретања 
честица, од најмањих честица-таласа до небеских тела, могу се извести из тог принципа, из Ојлер- 
Лагранжових једначина кретања. Мртва се твар уопште не одупире, па ипак има неке своје изборе 
видљиве на микро нивоу квантне механике, који постепено, под законима теорије вероватноће и, 
пре свега закона великих бројева, постају извесности макро света. Користећи нама недавно знане 
ефектре теорије хаоса (лептирових крила), или тако некако, жива бића успевају настати, сачувати и 
овладати том врстом слобода микро света у свом макро свету. 


Зато су цивилизације животније што поседују више слобода својствених микро свету. За виталност 
кључно је имати слободе. Али тек трошећи их и зато трошећи се. Моја „теорија информације“ (она 
је у настанку) дефинише развојност уопште живих бића на јединствен и нов начин. Мера слободе, 
на начин специфичне информације и њених релативних промена, разликује периоде „младости“, 

затим „зрелости“, потом „старости“, према расту, стагнацији и опадању тих мера. 


Међутим, фокусирана је слобода (количина опција, информација, потрошена неизвесност) та која 

„разгрће“ ствари око и испред себе постижући развојност, ефикасност и сигурност. Неизвесност је 

сила (у апстрактном, али и реалном физичком смислу) која се тада троши, а од које би сва природа 
да побегне (начелна јој је штедљивост емисије информације). То је она дубока, нама несхватљива 

тежња која покреће наше жеље ка реду, откривању природних закона и додавању наших њима, а 

системи веће „специфичне информације“ – да емисије информације (неизвесности) буде мање. 


Принципијелном минимализму информације опире се закон одржања, али живот ипак успева да 
полако и упорно надвладава вишкове виталности, да је топи у сигурност, а ову даље у почетно и 
најприродније могуће стање тоталног неодупирања, у мртву твар. Као што видите, ова теорија учи 
да је неред резервоар живота, а ред и сигурност да су знаци његове потрошености. Можда таквој 
управо добро стоји непопуларност и скривање у домену апстракција 
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74. Сепарабилни процес 

На аеродрому се налази п = 0, 1,2, ... путника. Вероватноћа да ће у аеродром ући (п + 1)-и је а, 
док је вероватноћа да ће један изаћи ђ,. Претпоставимо да смо посматрањем нашли статистичке 
вероватноће ар, 81, 45, ... И Ву, 51, 8, ... (бр = 0). Постављамо питање колика је вероватноћа р, да 
ће се на аеродрому наћи тачно п путника. Сепарабилност овде значи да је увек могуће установити 
ко је од путника први ушао, односно изашао, уколико се на вратима истовремено појаве два. 


То је модел који се може применити на процесе рођења и смрти, тачке у времену попут бројања 
аута на цести, кретања молекула гаса или течности, раста популације бактерија, обради сигнала. У 
једној популацији има п јединки са вероватноћом р,, а број житеља се у произвољном тренутку 
мења највише за +1 са вероватноћом а, или за —1 са вероватноћом ђ,. Постављамо питање како 
довести у везу низове а, Бур. Овде се не подразумева независност, коју смо раније разматрали 
[64. Без памћењај, па ови бројеви могу бити променљиви. 


Претпоставимо да канал преноси податке састављене од слова (лат. |Шега) азбуке из низа пр, па, 
..., пу да слово п; због специфичних сметњи при преносу може постати само једно од њему „блис- 
ких“ слова ту _1, 1, Пу 41. Дакле, претпоставка је да су сви коефицијенти матрице канала К;; = 0, 
ако је |: — ] | > 1. За такав канал може се рећи да има сепарабилне сметње. Овде су: 


Кра = фф, Ки-1=ђ|, (бо=0, :=0,1..,0 


једине вероватноће које могу бити различите од нуле. Пропустимо ли сигнал п; Е (пр, 11, ...,71) 
кроз дугу серију таквих канала, онда је р) вероватноћа да ћемо на излазу из једног фиксног места 
серије имати сигнал пр. 


Теорема 1. Нека систем има низ стања П', П;, ..., 1), а вероватноћа непосредног преласка система 
из стања П; у П, је нула ако је |: — ]| > 1. Уведимо следеће ознаке: 


Ру = РИЛАЈ, ау = Рг(Пу а Пу), ћу = Рг(П,–_|Па) , п=0,1,2,.. 


(бо = 0). Означили смо са 5 најмањи природан број за који је а = ђ,,1 = 0. Тада је: 


Доказ: Према формули потпуне вероватноће имамо: 
Ва 2 Реч И ВЕП Па У А РРОТ ае б 
Ру = РЕП Ј Ру-т "РЕЈ Рука РРА ТАЈ Ра 


где је Рг(П, |П,) вероватноћа да ће систем остати у истом п-том стању (п = 1,2,...). 
Изједначавање десних страна даје релацију 


(ау + ђујру = ау—тра—1 + ћузари4т 


где је на левој страни вероватноћа да ће систем напустити п-то стање, а на десној вероватноћа да 
ће из суседних стања систем ући у п-то. Према томе, вероватноћа да ће систем ући у п-то стање и 
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прећи у (п + 1)-о једнака вероватноћи да ће систем ући у (п + 1)-о стање и прећи у п-то. Заиста, 
дефинишемо ли случајну променљиву 


Су = – дару + Вузабиза 


лако добијамо (с; = 0) сала 1 = Су, па је с, = 0 за свако п = 1,2, .... Тада је: 


Због услова У 2— о ру = 1 добијамо 


Ро а 


12 а 


а због а; = 0 је теорема доказана. ш 


Сада видимо зашто је ово теорема о сепарабилности, али не и о независности случајних догађаја. 


Ако бисмо имали и независност, дакле нове исходе увек исте вероватноће независно од прошлих, 
ц-–1 


онда би сви а; и б; били константе и посебно било би = да константно. Тада се ова расподела 


( 


своди не неки од претходно разматраних експоненцијалних процеса [64.1. Теорема 1]. 


74.1. Гравитација 
Када је поменути количник д константан, обзиром да је а = а, _1:ћ, = рл-1: Ру, интересантнија је 
ситуација опадања вероватноће са порастом индекса. Тада р,-1 < рл за свако п = 1,2,...., односно 
0 < а < 1, паимамо: 

1 1—а 


о ––——__——_ = == 1—а, ! у 
Ро 1+а +42 + + а! то ЧЕ теа 


Ри роа = је “ (>). 


То је експонекцијална расподела која може интерпретирати једну од сфера вероватноће од раније 
помињаних [38. Виртуелне сфереј. Раст вероватноћа ка центрима сфера, наравно, може задржати 

сепарабилност без независности, када коефицијент д не би био константан, а са сферама које тада 
„имају памћење“. 


Пример 1. Посматрајмо вероватноћу р = а“ 


као експоненцијалну функцију неке информације 
Лп = — пр. Променом параметра (17 = 11 ђ) мења се база експоненцијалне функције (р = ђ“"), а 
можемо рећи и јединица информције. Дамо ли том параметру димензију физичког времена, тада 
други фактор експонента има димензију енергије или потенцијала, јер су информација и дејство 


еквиваленти. 


Свеједно, већа вероватноћа значи мању неизвесност, мању емисију информације, мање случајних 
догађаја и спорији ток времена. Ово последње једна је од основних теза „теорије информације“, у 
којој време меримо променама, а основа свих промена су исходи (случајних) догађаја. [] 
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Пример говори о потврди методе коју сам сада већ давно описивао (Простор-Време, Економски 
институт Бања Лука, 2017), о добијању Ајнштајнових резултата гравитације посматрајући слободан 
пад без очигледне употребе принципа опште релативности. 


У том прилогу израчунава се маса т тела које слободно пада у гравитационо поље планете масе 
М на удаљености т од центра привлачења. Потенцијална енергија прелази у кинетичку енергију 
тела и додаје се укупној енергији (Е). Са порастом брзине падања телу расте маса (Е = тсз). Те 


2 . А 
СМ/тс“ то је маса ван гравитације). Оне затим утичу како 


промене су експоненцијалне (т = тре 
на трајање релативне јединице времена (2: = Аре 5М/76“ ), тако и на радијалне дужине (у правцу 
кретања). Резултат је да и време успорава, а да се радијалне дужине скраћују на начин предвиђан 


раније од Ајнштајна (1916). 


Са друге стране, тела која падају немају потенцијалну већ кинетичку енергију (кретања) и одозго 
гледан фотон се понаша као да потиче са извора светлости који се све брже удаљава. Због тога му 
је опажена фреквенција све мања, а онда то можемо разумети као продужавање трајање периода 
времена. Време унутар јачег поља тече спорије. Две групе резултата једнаке су, мада други начин 
избегава јасну употребу принципа опште релативности са којима су првобитно добијени. 


Овде видимо и трећи метод са једнаким резултатима. Због веће извесности (у срединама већих 
вероватноћа) информације су мање, мањи је „проток“ (број или количина исхода) случајности, те 
је и временски ток спорији. Спорији ток времена гравитационо је привлачан, у своје време уочио 
је и Ајнштајн, а онда следе и остали релативистички ефекти гравитације. Сада додајмо да спорији 
ток времена значи више (релативне) вероватноће и мање информације, а њихова привлачност је 
просто последица „сила неизвесности“, односно принципа минимализма комуникације. Дакле, то 
је појава општија и од опште релативности. 


Сепарабилност фермиона“ гаранција је важења 1. теореме што се тиче расподеле вероватноћа, а 
новост је да би гравитација могла бити грана теорије вероватноће. Међутим, та теорема не тражи 
константност количиника д и, према томе, не подразумева независност простора гравитације, тј. 
дозвољава и могућност да такав „простор памти“. Обзиром да је „вероватноћа да ће систем ући у 
п-то стање и прећи у (п. + 1)-о једнака вероватноћи да ће систем ући у (п. + 1)-о стање и прећи у 
п-то“ (цитат из доказа теореме), за веће извесности наведених вероватноћа рашће константност 
јачине поља. 


74.2. Телефонска централа 

Телефонска централа има ! = 1,2, ... телефонских линија. Позив који стигне када је свих ! линија 
заузето пропада. Означимо ли са П, стање централе са тачно п линија заузетих тада теорема има 
следећу интерпретацију: 


• р, – вероватноћа да је п = 0,1,2, ...,[ линија заузето; 
• а, — вероватноћа новог позива када је п линија заузето; 
• _ђ, – вероватноћа да ће један од п разговора завршити. 


Претпоставимо да су ове вероватноће (р,, а, и Ђу) дате у односу на одређени временски период 
Ле = 6 — 5 > 0 који је врло кратак. Током доказа теореме стоји да је „вероватноћа да ће систем 
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ући у п-то стање и отићи у (п + 1)-о једнака вероватноћи да ће систем прећи у (п + 1)-о стање и 
вратити се у п-то“, што значи да је за веће извесности наведених вероватноћа број заузетих линија 
више уједначен, централа тада тежи осцилирању око фиксираног броја позива. 


Када вероватноћа новог позива не зависи од броја (п) заузетих линија централе нити од избора 
почетног тренутка, тада она задовољава услове за експоненцијалну расподелу, тј. 


а, (ће) = 1—е "28, а>0. 
У граничном случају, када ДЕ — 0, тада а „(41)/2А! — а. 


Са друге стране, када вероватноћа завршетка произвољног једног од (7) текућих разговора не 
зависи од броја п, нити од избора почетног тренутка (51), већ само од трајања разговора 47, тада 
је она такође експоненцијална 


1—е“8%, В> 0. 
Вероватноћа да неће доћи до прекида нити једног од п оваквих разговора за време ДЕ је 27782, 
па је вероватноћа да ће бити прекинут најмање један 
р„ (АЕ) = 1— е“7 88, 


Када Д: — 0 тада ђ,(А2)/4А! — пр, па коефицијент а, –1/ђ, — а /пВ. Користећи последњу теорему 
добијамо познате Ерлангове формуле за телефонску централу 


5 ИН 
По) 


Ова вероватноћа р, не зависи од времена ДЕ. 


Ру = 


Пример 2. Када у току једног часа централа прими 60 позива, просечно је чекање позива 1 гтп. 
Ако просечни разговор траје 2 минуте онда се у року једног часа заврши 30 разговора. Тада имамо 
количник > = 2, па за централу са две линије (! = 2) је у) = 0.2, ра = О<ир = 04. О 


жжж 


Мултипроцесирањез у електронској обради података настаје када више корисника у исто време 
треба услугу једног рачунара. Централна јединица (СРЏ) пословних рачунара има т. процесора где 
је обично т = 1 или је т = 2, док је број захтева далеко већи. Када у току од на пример неколико 
чаосва захтеви за обрадом података (програми) почињу независно од броја већ пристиглих, као и 
од избора почетног тренутка, тада имамо ситуацију формално сличну телефонској централи али са 
једном битном разликом. За број активних програма п > т нови захтеви не пропадају већ иду у 
тзв. ред чекања до броја !. Међутим, вероватноће а, и ђ, имају сличну интерпретацију. 


8 Р. Вуковић: „Математичка теорија информације и комуникације“, Друштво математичара Републике 


Српске, Бања Лука 1995. 
Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


75. Физичка сила 

Идеја да се физичке силе представљају (делом) теоријом вероватноће хипотеза је која се из (моје) 
теорије информације чини веома привлачном. Пре свега, јер је полазиште ове теорије објективна 

случајност, мање-више присутна у појавама око нас, а вероватноћа и информација мере је тако да 
више прве значи мање друге. Стога прећутно прихватано начело максимализма, да су вероватнији 
исходи чешћи, постаје ново начело минимализма: да природа штеди емитовање информације. 


Већ са ова два „минимакс начела“, постаје актуелно питање одбојне „силе неизвесности“ [27], а 
са њоме и привлачне „силе извесности“ [38. Виртуелне сфере]. Може се показати да за апстрактне 
просторе вероватноћа, метрички или векторски, важи поопштен Кеплеров други закон: потег од 
централне константне „силе“ до „набоја“ којег она „покреће“, у једнаким „временима“ пребрише 
једнаке „површине“. Такође да се наводни набоји тада крећу по коникама (хиперболама), а да је 
брзина ширења дејства брзина светлости. 


Замишљамо даље, посредно, да еквивалентност ових апстрактних и физички реалних сила можда 
заменимо јединственим третманом обе. Касније, да их заједно са евентуалним будућим налазима 
третирамо са неке друге стране, сада нама непознатим њима заједничким узроком. Нове теорије 

отварају нове могућности. 


На пример, мултипроцесирање са својим формализмом заузимања п. од могућих т. канала токова 
информација, при чему се вишак не већи од ! држи у резерви (т < ![), могуће је пренети на појаве 
„гравитације“. Вишак пристиглих опција (информације) иде у „ред чекања“, који бисмо тада могли 
називати додатним димензијама времена, иначе „нормалним“ (О!тепзјоп5) овој теорији. Прошли 
наслов [74.] обрађује сепарабилне процесе аналогне фермионима, рецимо честицама твари, које 

се не могу наћи у истом квантном стању (Раш! ехсјизјоп ритпстрје). Исти се дотиче експоненцијалне 
расподеле вероватноћа [64.1. Независност] која има везе са гравитацијом, поновићу како. 


Посматрамо вертикалан пад (Простор-време, стр. 58) тела масе т, енергије Е = тс“, ка центру 
гравитационог поља масе М, на инфинитезималном делу пута 7. Рад силе на путу даје: 


аЕ = Кат, 
Мт, 
атс“ = –б — ду, 
т 
т= требм/т<“ 


где би маса тела које пада била т), у одсуству гравитације, с је брзина светлости у вакууму, а 6 је 
универзална гравитациона константа. Кинетичка енергија кретања током слободног падања тачно 
(потпуно) је заменила потенцијалну гравитације, па их у том смислу сматрамо еквивалентним. 


Два тела која једнако падају не осећају гравитациони потенцијал, могуће је сматрати да они и нису 
у гравитационом пољу. Изводимо закључак да би, са велике висине виђен, фотон унутар тог поља 
био замењив фотоном извора који се истом брзином у удаљава, једнаком брзини датог тела датог 
тренутка чија кинетичка енергија, Е; = то“ /2, је једнака поменутој потенцијалној. Због „црвеног 
помака“ (Доплеров ефекат), фреквенција фотона је мања, трајање осцилација је дуже, а оне мере 


јединице времена гравитационог поља. 
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На описани начин разумемо да се маса и енергија тела у гравитацином пољу релативно повећава, 
да му време успорава, а затим и да радијалне дужине бивају краће, на начин изложен у прилогу. У 
истом се развоју даље појављује Шварцшилдова метрика 


22М 
тс2 


=. 
22М 
) а + 72 зт2 0 ду: + тга02 — (1 – 


ава 
> тс2 


) сата 
засновано на апроксимацији развоја експоненцијалне функције у ред. 


75.1. Елементи 

Ове резултате слободног пада у Њутновом гравитационом пољу узимамо озбиљно у преносу на 
Ајнштајново релативистичко, при чему примећујемо да постоје разлике у јаком и све јачем пољу. 
Та прва апроксимација, слабог (Њутновог) поља, постаје експоненцијална расподела вероватноћа, 
што долази са независношћу будућих исхода од претходних, односно да га чини простор који „не 
памти“, који својом прошлошћу не утиче на сопствену будућност. Релативистичко прецизирање, 
које се односи на јача поља, доноси ову „меморију“ и њен утицај, односно повлачење простора за 
супстанцом која се њиме креће. 


Ако сила мења вероватноће, онда то ради и промена брзине. То такође приказује Кулонова сила, 


односно ток електрона кроз блиске паралелне 
|| |; |, водиче, на слици лево. Писао сам о томе као о 
Б занимљивој хипотези раније (Сиггеп!), коју сад 

КВ само понављам уз мале додатке. 


Два паралелна електрична проводника, струја 
у супротним смеровима, индуковеће магнетно 
поље које их одбија, а поље је привлачно ако 
су струје у истом смеру. То је познато одавно и 
пуно од овога што ћу рећи је у електромагнетизму одавно познато. 


Сила Ер по јединици дужине између две паралелне струје [, и [, раздвојене растојањем т износи 


= оћћ 
џ 2пт 


, 


где је и) = 4п х 1077 Тт/А тачно. На тај начин се дефинише да је један ампер струје која кроз 
сваки од два паралелна проводника бесконачне дужине, раздвојених за један метар у празном 
простору без других магнетних поља, изазива силу од тачно 2 х 1077 М/т на сваки проводник. 


Ово комбиновано са начелним минимализмом емисије информације доводи до закључка да исти 
набоји у истосмерном кретању са порастом брзине смањују своје укупне опције, или снагу емисије 
информације здруженог система, појачавајући узајамну привлачност. Обрнуто чине разноимена 
наелектрисања у истим условима. Она повећавају своје укупне опције стварајући средину са више 
емисија информације и тиме појачавају узајамну одбојност. 


Гледајући у оквиру кинематике, два сама електрона у узајамном мировању привлачила би се. Они 
би постали два електрона у супротном кретању и одбојном узајамном силом која би даље падала, 
али без мењања смера. Међутим, у проводнику са много других електрона, електрон би стјешњен 
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осциловао у месту, по правцу кретања струје. Сличан првом је случај два „слепљена“ електрона у 
потпуном узајамном мировању, али такво стање некретања квантног система није могуће. 


Теорија информације предвиђа бесконачне (плу ||) могућности сличних оваквих разлагања, али 
опет дискретну појаву слободних, физичких информација (Раскаве5). Као „позитивно и негативно“ 
наелектрисање које се сабира у нулто, или „три основне боје“ које се сабирају у неутралну. То јер 
постоје низови матрица чији производ даје јединичну М,М, 462 Му = 1, или композиције процеса 
са резултатом почетном вредношћу. Међутим, информације које су покретне, које физичка тела 
могу размењивати ограничене су еквиваленцијом са физичким дејством. Оно је дно информације 
стварности, као што су рецимо атоми и молекуле дно хемије, односно молекуларне физике. 


Када два проводника нису паралелни него граде неки угао, тада силу Ер треба још помножити са 
синусом тог угла, дакле умањити због удаљавања упоредних електрона. То је познато из класичне 
електродинамике, а овде разумемо као повећање количине неизвесности и њихове одбојне силе. 
Тиме долази до мешања, до изградње смеша компоненти које су све више делови сложеног, пре 
него елементарног света физике. 


75.2. Инерција 
5 1 
Гравитациона сила не делује на елементарне честице, на фермионе спина + И бозоне спина не 


даљег од +1, јер гравитони, претпостављене честице који преносе њене интеракције, имају спин 
+2, а приликом свих интеракција одржава се укупна количина спина. За спин, као и за енергију, 
импулс, или информацију важе одговарајући закони одржања. 


Елементарне честице удружене у атоме и молекуле предмет су комуникације са гравитонима, а 
такве су смеша оних различитости које су важне одвојене за електромагнетно деловање. Али тада 
до изражаја долазе друге временске димензије (Рутепзјоп5) и заобилажења (Вура55) која се путем 
њих могу дешавати. Гравитационе честице имају способност „изостајања“ из ове, наше реалности 
и тиме присуства своје информације у њој, продирући у 6-дим универзум, тачније речено градећи 
га, више што их је више. Мањак информације такве њихове средине привлачан је, универзално за 
сву супстанцу, што претпостављам да је „гравитациона сила“. 


Када А може непосредно комуницирати са Б казаћемо да су А и Б непосредно узајамно реални. А 
ако то није могуће, али Б може комуницирати са Ц, онда су А и Ц само (узајамно) реални. У таквој 
структуру, реалност је више ствар масовности комуникације него изолованих случајева! '. Поједине 
случајеве одласка у „друге опције“ зато посматрамо као одласке у псеудо реалност, у паралелну 
реалност, или паралелне светове. Лако је проверити да је овакав (нови) третман „реалности“ иде 
уз додатне „временске димензије“. 


Мањак информације у окружењу масе честица супстанце углавном значи и мањак комуникација 
међу њима и, према томе, мањак реализација случајних догађаја у односу на посматраче изван. 
То значи и релативно спорије протицање времена, јер обим догађаја дефинише временски ток, 
бар што се тиче (моје) теорије информације. Са друге стране, ово „потискивање“ информације у 
мноштву потсећа на мултипроцесирање са све дужим редом чекања (могу се формално слично 


10 Џемег5е 15 Мо ГосаПу Веа!; 1Ер5://млм.осјеп сатепсап.сот/агсје/Ћће-ипмег5е-5-по осаћу-геа!-апд- 
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третирати), као и на „самоконтролу“ супстанце организоване у атоме, молекуле и смеше. Такође 
на форме смисленог текста (који има мању информацију од одговарајућег шума), реда уопште у 
односу на неред. 


Већа маса заузима већу запремину, а тада је светлости потребно све више времена да стигне са 
краја на крај, па су делови истог тела само парцијално истовремени. Такви су квантно спрегнути 
што их са поменутом компактношћу чини неком „целином“. Утегнутост све веће ове целине све 
више проблематизује промену њене брзине, због чега су већа тела масивнија, инертнија. Уз то, 
простирање већих тела више у временске димензије, укључујући прошлост, учиниће да много 
масивна имају неку сенку коју гравитационо вуку за собом, сенке из прошлости гравитационог 
деловања на садашњост. Ова (хипојтеза је оно „памћење простора“ које ми је ишло уз објашњење 
дела загонетне „тамне материје“ у астрономију опажене (израчунате). 


Детаљ из „масовне спрегнутости“ приказан је на слици десно. Тачке А, В, ..., Е су догађаји физичке 
реалности, неког простор-времена. Из тачке А, 
истовремено излећу тачке В и С у различитим 
смеровима и брзинама. Нека су О и Е средње 
тачке дужи АС и АВ редом, а Е средина дужи 
ВС. За П тачке А и С су истовремене, исто тако 
А и В истовремене су са становишта тачке Е, а 
за неког вањског посматрача нити један пар од 
низа ових тачака не мора бити истовремен. 


Када се деси промена на А, истовремено и редом за Е и р дешавају се промене на В и С, иако се 
неком вањском посматрачу тачке В и С неће појавити као истовремене (такође нити Е и р). Тако 
настаје познато „фантомско деловање“ између пара А — В, као и А — С, или квантна спрегнутост 
алии В — С које се тада јавља као „повлачење“ за целином. Ово последње настаје због „утезања“ 
са осталим тачкама масе. Теорија информације дозвољава постојање и посматрача Е за којег су В 
и С истовремене, који не мора бити у истој реалности са тачкама А, В и С неког даљег посматрача. 


Подсећам, слабост деловања гравитације из прошлости на садашњост веома је слаба (системима 
мера физике које су наш стандард), због временске дужине 1: чији се иначе тек квадрат (;2 = —1) 
појављује у метрикама и због огромне вредности брзине светлости (с ~ 300 000 Кпл/5). Отуда ће 
галаксије мање специфичне густине имати мању па и никакву „гравитациону сенку“ (АСС 114905). 
Зато је повлачење простора за планетом Меркур приметно, довољно значајно да покреће његов 
перихел у смеру око Сунца, јер је Сунцу та планета најближа и креће је у најјачој гравитацији. 
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76. Еволуција извесности 

Принцип минимализма информације води природна стања у мање информативна, у вероватнија. 
Једва приметно, али упорно, системи случајности развијају се у извесније. Васиона као каква врста 
живота на земљи еволуира. Она се стално мења никада не бивајући иста, претварајући се у разне 
облике, стања и начине, као да не зна шта би са својом неуништивом неизвесношћу, да би током 
дужих времена ипак остајала са све мање супстанце и више простора, све мањих исказаних и све 
више потиснутих информација (количина неизвесности). 


Постулирање непредвидљивости на начин „теорије информације“ подразумева непрестани развој 
(бгомлпв). Штавише, васиона је у неком тихим и сталним стањима креације којима не руши законе 
одржања, али успева мењати и саме своје промене. То је нови моменат, откриће за науку уопште. 
Неизвесност се цеди емитовањем информације, али се њена укупност одржава растућим обимом 
посебности, разноврсности. 


Пример 1. Након сортирања у опадајући поредак, вероватноће неке расподеле су р1, 7, ..., рл, где 
је р; = рј ако ! < ј. Подразумевамо да је свако р; > 0 и, наравно, збир свих Ур = 1. Међутим, 
што је брже опадање датих вероватноћа мања је Шенонова информација 


п 
у = - Ур пр. 
1=1 
Са друге стране, држећи се било које функције (од праве линије униформне расподеле, преко 


експоненцијалне форме до још стрмијих облика), повећањем броја исхода (п) расте Шенонова 
информација (5, < 5,41). О 


гим речима, могућ је општи раст извесности система и уједно очување количине неизвесности 
У уп] УЈ У 

уз помоћ повећања броја опција. Раније је поменуто да је ово могуће и „претапањем“ супстанце у 
простор. Изгледа да се обе ове промене и дешавају. 


Пример „умножавања могућности“ је Хигсов (Н|в25 тесћат5т) настанак масе стандардног модела 
физике честица и његова примена у електрослабој теорији и спонтаног рушења симетрије у време 
ране васионе. Уопште је то и настајање галаксија, планета, па и живота на Земљи. Пример прелаза 
супстанце у простор (можда) је ширење свемира. 


Због саме необичне поставке ове теорије, о објективности случајности, много је наизглед лабавих 
закључака даље изречено да бих додавао нове. Ипак ћу поменути ширење космоса све даље, како 
у просторима тако и временима, његово стално настајање, те успоравања времена „садашњости“ 
(због све мање догађаја, емисија информација). Вредна је помена и ергодичка теорема [61.2.], где 
је у овом случају њена претпоставка вероватно испуњена (нема сто одстотног тачног преноса било 
које поруке), а зато и последица, да после много времена (милијарди година трајања васионе) не 
можемо тачно знати шта се заправо дешавало. 


Што су извесности васионе веће, њена сећања су трајнија и паралелне димензије времена дубље. 
Већи је и сам простор тих псеудо реалности које настају инициране, или коинцидиране, са нашом, 
тако да попут неодређености микро света, са растом неодређености псеудо космоса упоредно са 

нашим (произвољним) повећавају се одређености њихових импулса (енергија). Изложена теорија 
предвиђа промене, нестајање, али углавном настајање, самих закона света. 
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76.1. Делта функција 

Занимљив екстремни случај „расподеле вероватноће“ је функција густине коју је у квантну меха- 
нику увео П. А. М. Дирак, професор Универзитета у Кембриџу, Енглеска, почетком 20. века разре- 
шавајући неке друге проблеме тадашње физике. 


Дефиниција 1. Густина вероватноће 0 (х) дефинисана са: 


+ со 
_ (%0, х=0 _ 
80) = [ па | 800 ах = 1, 


назива се Диракова делта функција. 


Да појаснимо везу између ове функције, густине вероватноће и преноса информације присетимо 
се једначине преноса података звуком, електричном струјом, или електро магнетним таласима са 
каналом континуума К: ф — у, помоћу линеарног оператора 


М(у) = | К(х, у) ф(хјах. 


Ту је ф(х) улазна расподела порука у канал, а у(у) излазна. Када је у(у) = ф(у) за свако у тада је 
ф својствена функција оператора К. 


При томе постоје врло тачни преносници непрекидних података који се на малим растојањима 
понашају скоро као идентични оператор, тј, такав линеарни оператор К који за сваку густину 
расподеле ф(х) даје К(ф) = ф. Пример таквог оператора за дискретне расподеле је јединична 
матрица | = [(6:)], док би код континуума то требала бити функција 09 (х, у) за коју важи 


+ 00 


Ф(у) = | 8(х, У) ф(х)ах 


баш за сваку расподелу ф(х, у). Ма како ови услови изгледали природни, у математичкој теорији 
показивали су се тешко спојиви. 


Пример 2. Нека је ф(х) густина униформне расподеле 


1 
Ф(о) = | хе (0, 2) 
0, хЕ (0,2) 


где је 2 > 0. Тада је 


|Е ф(х)ах = и | аб) ах, 
— 00 а 


а овај интеграл би морао бити једнак ф(х) за свако произвољно мало 2 > 0. Међутим, тако 
дефинисана функција 8(х, у) није интеграбилна нити у Римановом нити у Лебеговом смислу. [Д] 
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Проблем се разрешава помоћу низа функција ], (х), зап = 1,2, 3, ..., који за п — со тежи 8 (х), тој 
Дираковој делта функцији. Даље се претпоставља за горњи интеграл у Дираковом смислу да је 
једнак Лебеговом над свим Лебег-интеграбилним функцијама. 


Ако је горње претпоставке могуће испунити, тада је за сваку густину расподеле Фф(Х): 


+ 00 +00 


р(ф) = | 8(х – у) обдах = | 802) Ф(2 + ујаг = 


+ оо 


= 90) | 862) 42 = 90), 


а то је управо горња тражена функција. 


Другим речима, свака непрекидна функција ф својствена је Дираковом „јединичном оператору“, 
једнако као што је сваки вектор 7 својствени вектор јединичне матрице, Тр = у. Са друге стране, 
Диракову делта функцију можемо протумачити као гранични случај низа 1 (х, 61), Г (%, 6), ... који 
представља низ случајних променљивих са очекивањем нула и густинама расподеле вероватноће 
за чије дисперзије важи а, — 0, када п — со. При томе је: 


+о0 


5=—– | бој 8(х) ах = 0. 


Дакле Шенонова информација Диракове функције је нула, што показује да ова „густина“ није нека 
распршена вероватноћа, већ пре извесност места х = 0. 


76.2. Феномен величине 

Захваљујући „силама неизвесности“, сматрам, чешће се дешавају вероватнији исходи и природа 
своја стања тежи превести у мање информативна. Мање информативна стања су извеснија, више 
организована, ефикаснија, мање витална. Како сваки део супстанце има неку „количину опција“, 
следи закључак да више делова носи више информације. То је парадокс са начелом минимализ- 
ма, а из њега је излаз „бежање“ масе информације у друге димензије, видели смо. Међутим, ту 
пристиже у „помоћ“ и закон великих бројева. 


Теорема 1. (Чебишевљева неједнакост) Ако случајна променљива Х има варијансу 62 = ЕХ2, тада 
за свако 2 > (0 важи неједнакост 


52 
Е 


Доказ: Дефинишемо случајну променљиву 


у |Х| <е 
_ (е, |Х|=е 


Тада је У < |Х |, тј. У: < Х:2 па је очекивање ЕХ2 > ЕУ: = г2Рг (|Х]| > 2), одакле непосредно 


следи Чебишевљева неједнакост. ш 
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Што је већи број 2 то је мања шанса да случајна променљива Х узме његову вредност, односно 
„силе неизвесности“ нагомилаваће исходе унутар дисперзије с. У случају све већег понављања 
датог опита проређеност већих одступања биваће све очигледнија. На тај начин ова неједнакост 
води у тзв. Чебишевљев закон великих бројева [26. Дисперзијеј. 


Рецимо да понављамо п. = 1,2,3, ... пута исти бинарни опит, вероватноће р Е (0,1) да ће се десити 
жељени исход, односно вероватноће д = 1 — р да се тај неће десити. Нека се жељени исход десио 
т е (1,2, ...,п) пута, односно да се није десио п — т пута. Тада према закону великих бројева, за 
п — оо статистичка вероватноћа – = р, односно – – ад, тј. статистичка вероватноћа тежи броју 
који предвиђа теорија вероватноће. 

То је у овим скриптама (Информатичке Теорије) раније расправљано. У наставку погледајмо како 


се помоћу Чебишевљеве неједнакости може оправдати Диракова делта функција и пренос подат- 
ака линеарним операторима. 


Теорема 2. Нека је дат низ случајних променљивих Х,, са варијансама а: и математичким очекив- 
ањима и, = 0. Ако 62 — 0 када п — о, тада за густине расподеле ј, тих случајних променљивих 
важе формуле: 


+ оо 
| ћ(х) ах = 1, 
п—0оо 


— со 


| +, х= 0, 
ит Љбд = [7 х = 0. 


Доказ: Прва једнакост је непосредна последица дефиниције густине расподеле. Затим, полазимо 
од Чебишевљеве неједнакости: 


2 2 
љбдаг <71, (уе> 0) <==> | леда» 1-2 


|х|=Е |х| се 


Због 02 — 0, постоји такво 62 < 22, тј. 


| ћојах=1—:. 


|х|<е 


Нека је М = М(п,2) = зир ј, (Х), тада је: 


|х|<е 


Ме = ј мах> | пода 1- 


|х| се |х|се 
1 
М>—— 10. 
(2 


Тиме је доказано друго тврђење. ш 
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Бирамо ли по једну ј, (х, у) од поменутог низа функција са довољно малим 62 > 0, где је у произ- 
вољан параметар, видимо да за свако 2 > 0: 


2 
| Њодјах – | 60) ах <-> 0, 220. 
|х|ВЕ |х]РЕ 


Отуда за сваку функцију Ф(х), непрекидну у околини тачке х = 0, која је самим тиме и ограничена 
у таквој околини 


| гогузебдах – 909] = 0. 
|х]РЕ 
У том смислу пишемо 


+ 00 


фФ(у) = Еп | БљујФб) ах. 


Дакле, пренос података континуума се може описивати горе наведеним линеарним операторима 
+ 00 
(у) = |; К(х, у) ф(х)ах. Друго, за приближно тачан пренос, или пренос података на мањим 
5 А +0со 
удаљеностима, постоје следећи раније наведени оператори типа ф(у) = | 6(х, у) ф(хјах. 
Трећа претпоставка нам је потребна да бисмо такав пренос описали као процес, односно као 


функцију непрекидног параметра : који се појављује у свакој серији канала, или у сваком каналу 
серије. 


Три наведена захтева се своде на следеће експлицитне услове: 
а) КЊОху) = 0, за свако 5,Х,7; 
+ оо 
6) Ј _ КЕжу)=1; 
А + оо 
с) Ни „КБ у) ах = 90). 
Ако постоји таква функција канала К (2, х, у) можемо је интерпретирати као онај део преносника 
кроз који за време : улазна порука х изађе као порука у. Општије речено, ф из су произвољне 


непрекидне расподеле трансформисане линеарним оператором К;: ф — ч, уз услов К;:Фф — Ф. 
Хомоген процес би морао испуњавати и додатни услов 


д) Ку х Ку, = Коњ, за свако (А, 5. 


Због услова с) је дисперзија (варијанса) за инфинитезимални део преносника нула, па је практич- 
није имати дисперзију јединичног интервала (1 = 1) ако је процес хомоген, односно густину дис- 
перзије. 


Дакле, несумњиво се пренос података може обављати линеарним операторима, штавише, то је 
могуће и представљеним непрекидним функцијама. Обзиром да је информација ткиво простора, 
времена и материје (према претпоставци ове теорије), то и саме бесконачности (мислим и на оне 
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из теорије скупова) треба некако укључити у њене реалности. Ово су предлози (које можете наћи 
у мојим текстовима и ранијих година). 


Уобичајено дефинисање непрекидне функције /: 0 — р, променљивих из домена (1) у вредности 
кодомена (1), каже да за свако х, 6 РО и свако г > 0 постоји 8 > 0 такво да за све х 6 р такво да 
из |х — Хо! < 8 следи |] (х) – [ (хр)| < 2. Оно сада преводимо у перцепције, да ма како била мала 
неодређеност положаја постоји субјекат (ситуација) који је може опажати (по цену губитка неких 
других одређености). Исто је са временом, импулсом, енергијом, уопште обзерваблама. 


Један од предлога за кардиналне бројеве (пребројиве и непребројиве бесконачности) је даљи ра- 
звој идеје непредвидљивости саме информације. Ма како великим космос имали (замишљали), 
он опет има околину у односу на коју је нека неизвесност. Друго, развој догађаја космоса не само 
да је преформулисање неких датих особина, већ и њихово ново настајање. Другим речима, оно 
што се око нас догађа нису само рекреације (прерасподеле) увек исте смеше могућности, већ и 
макар мале, сталне, упорне креације, уз важење закона одржања количине. 


Креације космос добија из околних бесконачности (којима се може стално нешто одузимати а да 
оне увек остају исте), а своју компактност може одржавати попут виртуелних сфера [38.], унутар 
којих се веће вероватноће одржавају под притиском вањских већих неизвесности. До даљег не 
видим у тим (хипојтезама значајне недоследности и волео бих да ми на њих евентуалне неко 
укаже што пре. 


76.3. Моменти 
Нека је кроз канал послан сигнал х који је стигао као сигнал у. Разлика у — х је грешка преноса, а 
средња вредност такве грешке за јединични интервал времена хомогеног канала је 


+оо 
1 
Пт – | (у – х)К(#,х, у) ду = и(х). 


Средње квадратно одступање, или варијанса је 


1 


+ со 
| – | (у – х) (6, х, у) ду = 62 (). 


Ако процес није хомоген, онда су ови лимеси једноставно густине момената у почетном тренутку. 
Даље претпоставимо да ови моменти постоје, те да постоје парцијални изводи 


ду) 0: ЊХУ) 
дх = | дх= 
као непрекидне функције за сваки 1, х, у. Егзистенцију траженог процеса канала уз наведена три 


услова можемо доказати позивајући се на познате парцијалне једначине Колмогоровав за непре- 
кидне случајне процесе, од којих је прва 


ОК(Е,Х, 
( ДА 


ОК (Е,х, 1 0 КЊ, х, 
па ОРАО Гај 


дх 2 дх2 
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Пример 3. Ако су моменти грешке константни, без умањења општости можемо претпоставити да 
суониџ = ис = 1, па се дата једначина Колмогорова своди на једначину провођења топлоте 


дк 102К 
= + == = ), 
дх 20х: 
чије је решење нормални канал 
_ (7202 
Ку) = е #00, [> 0. 
Е 


Да је испуњен услов хомогености 4) можемо проверити непосредном интеграцијом 


+ со 


К(Е + 2,Х,2) = | К(5,х, у)К(6,Х,2) ау. 


Проверите! [] 


Приметимо да је једно од скривених открића овог примера, једначине провођења топлоте у стоха- 
стичким процесима Колмогорова, управо то што је, да је пренос осцилација молекула са тела веће 
на тело мање температуре процес преноса информације (количине могућности). Док се осцилаци- 
је смирују, информација (обим опција) га напушта, тело се хлади и ентропија му расте. Пад темпе- 
ратуре шири се и уситњава исходе (пример 1), ради одржавања укупне информације. 


Тако, на пример, чисти гасови се могу одвајити од ваздуха тако што ваздух прво охладимо док не 

постане течан, затим дестилујемо компоненте на различитим температурама кључања. Тај процес 
даје гасове велике чистоће. Енергетски је интензиван, а осмислио га је Карл фон Линде већ током 
1895. да би био први пут индустријски кориштен након седам година, па све до данас. 


Други пример је на АЦЕ слици лево, уз опис „технологије за добијање боје за шаргарепу“=:. То 
је фазно одвајање загрејаног (70-75" С) сока од 


шаргарепе након хлађења на 409 С а затим све 
до собне температуре, те даље на 3-49 С када 
се уводи фина мрежа у цилиндар. 

Теорија информације даје једно једноставно 
објашњење ове коинциденције, да се снижа- 


вањем температуре олакшавају сепарације, због могућег општег раста извесности система уједно 
са очувањем количине неизвесности уз помоћ повећања броја опција. 


и Азтапомза ћ Низепомјећ, Абдидод томАђаџаћадТозћтигодомтећ, Ваирома!годаВагакауемпа, 
МакћтидомМахти апзомећ, КазутомабигаКаптомпа: „Ејјесиме Тесћпо/оду Вог ОБгатта Саггог Руе“, 
Еигореап Јоџгпа! оћ Мојесијаг 4 СИптса! Меасте, 155М 2515-8260, Мојите 08, |55џе 01, 2021. 
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77. Колмогоровљев процес 

Најубедљивије и најопштије што има теорија случајних процеса континуума данас су парцијалне 
диференцијалне једначине Колмонгорова, од којих ћемо прву извести. Разлог њихове занимљив- 
ости нама је једноставна интерпретација као серијског споја дугог низа преносника континуалних 
порука, а са друге стране јер се оне могу подвести под једначине топлоте. Пренос топлоте процес 
је попут преноса информације, први кроз пренос већих у мања титрања молекула, а други процес 
је развој догађаја у вероватније, рецимо „преносом“ у стања мање информативна. 


Пример 1. Полазећи од дефиниције канала у ужем смислу 


+ 00 +0о0 


12) = | Кубу, 2) мбујду, (у) = | как У) обдах 


где сигнал има ток х у — 2, а густине расподела датих сигнала ф — у — 1, можемо дефинисати 
серијски спој два канала Ку и К, густином 


+оо 


(беја) == | Кубу, ка у) ду. 


— со 


Ова је функција ненегативна за свако х, 2 и нормирана по 2, те она јесте добро дефинисана густина 
канала у ужем смислу. Композицију пар канала је убедљивије проучавати на овај начин. Међутим, 
када имамо дужу серију канала онда добијамо непрактичне вишеструке интеграле, а тада метода 
Колмогорова показује своје предности. [] 


Проводник података произвољне дужине схватамо као серијски спој, попут пара функција К(Х, 2) 
из примера, али бесконачно много инфинитезималних проводника. Порука ухваћена на произво- 
љном делу проводника је непрекидна случајна променљива х, у, 2, ... са густином расподеле ф, у, 
п, .... Зато мењамо начин приказивања композиције примера. 


Претпостављамо да постоји непрекидан параметар : такав да на произвољном али фиксном делу 
проводника ухваћени сигнал х зависи од 1. Тада је х = х(Т) или (6) = ф(х, 2). Дакле, имамо про- 
цес у свакој тачки проводника. При томе важе следеће једнакости: 
+ оо 
|. Кобуњ)го, Ј _Ксбуљау=1, 0<%<%; 
по 
Да туђе К(х, Бу,Е+А ђау =0, УЕ> 0; 
са 5 
ЈЈА Да. 2 ћу- је О —х)' К(х, Бу Е + А аду = а(х, 1); 
а –— 72: – . 
Мт МЕКЕ, х):  К(х, Бру, Е +А ду = Б(х,1 ); 
+ оо 
М. Коб; 2 а) =] „КО, 62,15) КБ у, Бр) ду. 
Прва једнакост (1) говори о густини (К) расподеле вероватноћа. Нормираност ту значи да је сигнал 
у у тренутку #; имао неку вредност од —оо до + 00. За довољно дуго време #, — 6 сигнал у може 


постати било шта. Међутим, ако 5 — 4 — 0, тада у — х, тј. важи друга једнакост (1). Тај услов (1) 
изражава чињеницу густине, да вероватноћа промене сигнала х за више од г тежи нули, када 2: 
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Како интервал у једнакости (П) за |у –— х | = г тежи нули, тако његов остатак за |у — х| < г тежи 1 
због претходне (1). Прецизније, за ове остатке се тражи да униформно конвергирају (по х), а отуда 
једнакости (ШП) и (М). 


Први од ових лимеса а(х, 2) можемо интерпретирати као густину математичког очекивања проме- 
не сигнала х у тренутку [. Када је х = 0, а канал хомоген онда је тај први лимес (|) очекивање из- 
лазног сигнала у након времена : = 1. Други од ових лимеса (1) је близак појму варијансе (густи- 
не дисперзије). 


Прва од функција (!) јединствена је за цели проводник, што је изражено произвољношћу парамет- 
ра Е. Отуда последња од наведених једнакости (М), где на левој страни имамо трансформацију сиг- 
нала х из тренутка 6 у сигнал 2 у тренутку #5, док на десној страни имамо то исто преко сигнала у 

у тренутку #;. Претпоставимо ли да постоје парцијални изводи: 


дЕ(х, ОБ; у, Бр) ОК, 5; у, 5) 
дх | дх= 


и да су оне непрекидне функције за свако х, 51, у, 5; > 11, тада вреди следећа једначина. 


77.1. Пренос информације 
Теорема 1. (Једначина Колмогорова) Функција Е (х, 15; У, 2) дефинисана горњим релацијама (!-М) 
је решење једначине 


0. 


дк(х, а; у, 12) 4 ( ) ~ “гу, 6) " ђ(х, А) дк(х, “у, 12) - 
да о дх 2 дх2 – 


Доказ: Полазећи од последње (М) лако добијамо 


+ 00 
К(х, 6 — Абу, 6) = | К(2, 5; у, БК (С, 6 — ДЕ 2,65) 82. 
Полазећи од прве (!) множењем имамо 
+ 00 
К(х, 5; у,5) = || К(х, 5; у, БЈЕ (х, 61 — А1; 2,14) 82. 


— со 


Одузимањем последње две једнакости добијамо (%): 


+ со 
К(х,Е, — Аб; у, 1) — КС, 21; У, Е 1 
Маи – авумб) п кбоплу о) НЕ | [К (2, 5; у, Ер) — К(Х, 6; у, 2; )ЈЕ(Х, 6, — ДЕ: 2,5) 2. 


— со 

Овај интеграл можемо раставити на два сабирка: 
51 где је област интегрирања |2 — х| = 2, 
5, где је област интегрирања |2 —х| < 2. 


Ако пређемо на лимес када 4: — 0, због (1), имамо 5, — 0, па ће нам остати само други сабирак. 


Тејлорова формула даје 
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дК(х, 5; у, 5) М (2 — х) д Ки (х, 5; у, 5) 


К(а, Бр; у,1) = Ку, 6) + (2 — х) 2 > 35 + о(2 – х)2 
па је: 
ок (х, А; У, 5) 1 
АЕ ДЕ | (2 — х)КЕ С, Е, — А: 2,11) 82 + 
|2—х|<Е 
ок (х, 5; у, 5) 1 2 2 
и - 7 завиних -7 7> | [(2—х)- — о(2 — х) ЈЕ (х, 51 — 45: 2, 5) 82 — 
|2—х|<Е 
ба је 5; у, 6) " Боса) да КО туњ) 
— пена Пру 
Звун дх 2 дх2 
Како је 
| К(х, 6 – Абу, 6) — КБ у, Бр) _ дЕ(Х, У, 1) 
мађ ДЕ – ди 


то је тврђење доказано. ш 


На сличан начин, полазећи од #1 + ДЕ уместо 61 — ДЕ, добијамо исти израз на десној страни, попут 
(%) у доказу. Међутим, на левој страни имамо 


| К(х, 6, АБУ, %) — К(х у; у, 1) _ ОК У, 1) 
а ДЕ – да ! 


па доказујемо да важи и једначина 


дк ок ђоск _ 
ди дх 2092 
Она је слична једначини топлоте [76.3. Пример 3]. 


Пример 2. Када је дисперзија ђ (х, 61) велики број, сразмерно у односу на остале сабирке једначи- 
не, имамо приближну једнакост 


ок (х, А; У, 5) = 0 
дх2 а 
Отуда је К(х, 5; у, 5) = Ј (у, 6) + ха(у, 6), где су ј и д непознате функције. Из услова (1) добијамо 


8 = 0,тј. К не зависи од х. Другим речима, канал је црна кутија. [Д] 


Када дисперзија 5 (х, 6) — 0, можемо претпоставити да је очекивање а(х, 6) = 0, па је К = 0 ско- 
ро свуда. Због нормираности ова функција мора имати сингуларитет сличан Дираковој делта фун- 
кцији, па канал постаје друга крајност (примеру 2), тј. бела кутија. Постоји прилично видљива веза 
ових једначина са једначинама преноса топлоте, аналогија на коју се вреди покушати осврнути. То 


је тема следећег поднаслова. 
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77.2. Поређења 

Објективна неизвесност је кључна за (моју) „теорију информације“. То је пре свега! „објективно“ 
не познавање неких информација пре њиховог добијања. Не знамо унапред, на пример, који број 
из лото бубња ће бити извучен, или како се звала особа са којом смо се управо упознали и слично. 
Та потреба за комуникацијом сведочи о важности информација у свету реалности, али такође ио 
немогућности поседовања свих знања, затим о Геделовој теореми (ма колико велики скуп тачних 
тврђења дата теорија имала, увек постоје тачна тврђења која се из њих не не могу извести). 


Ма како велики субјекат (комуникације) био, он не може имати сва знања и, према томе, прва од 
наведених „објективности неизвесности“ универзална је, принципијелна, она сведочи о свеприс- 
утности информације око нас. Оно што је мање извесно мање је информативно, или исто речено 
другачије, када знамо да ће се нешто десити па се то и деси онда то и није нека вест. Отуда, мање 
вероватни исходи емитују више информације. 


Веће титрање молекула, које садржи више степени слободе, односно које носи већу неизвесност, 
више потенцијалне информације садржи. Када се та искаже, топлота флуида преноси се (са тела 
веће температуре на суседно тело мање тепмературе), па сада кажемо да информација титрања 
прелази на топлијег на хладније. Ентропија тела које емитује информацију повећава се, док му се 
укупна (потенцијална) информација смањује. То би требало бити одговарајуће објашњење другог 
закона термодинамике са становишта ове теорије информације. 


Према првом закону термодинамике укупна енергија система, учесника у преносу топлоте, остаје 
константна. То је овде такође случај, када је информација еквивалент дејсту (производу енергије и 
времена), а јединице времена свих делова система су једнаке. У релативистичким ситуацијама, у 
релативном систему споријег тока времена (због брзине кретања, или јачег гравитационог поља), 
онолико пута мањи део интервала времена даће толико пута већу опажену енергију, јер дејства су 
им једнака. 


Дакле, енергија фотона, Е = ћј, који се креће брзином светлости с, зависи само до фреквенције 
ј = 1/т, где је т = су. време једног титраја а Х таласна дужина, према горњем тумачењу, постаје 
израз Ет = ћ константне вредности Планкове ћ. Честице које се крећу брзином светлости немају 
сопствено време (време им стоји) и према законима вероватноће налазе се у низу тренутака свог 
посматрача. Уколико посматрач има масу (т) он има и сопствени ток времена из којег опажа низ 
положаја светлости као њено кретање. 


Уопште честице са масом импулса р = ту зато имају мању брзину од светлости (7 < с), јер им се 
титраји (неизвесности) простиру дубље у временске димензије. Оне су зато инертне (објашњење 
уз слику у поднаслову „75.2. Инерција“) јер су сложено, тј. „масовно спрегнуте“. Било како било, 
путовање честице простор-временом углавном је највероватнијим путањама, на начине преноса 
информације каналима. Због опште неизвесности, ма како дати пренос података био тачан он је 
увек са неким макар веома веома малим грешкама. Зато у овој теорији увек морамо рачунати на 
ергодичку теорему [61.2]. 


12 Подразумевам Хајзенбергове релације неизвесности (да тачнијим одређивањем импулса нетачније 
сазнајемо положај честице, односно да тачнијим одређивањем енергије нетачније сазнајемо тренутак 


дешавања) и сматрам их тривијалним за овај део излагања. 
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Због евентуалних грешака преноса информација, из прошлости ка садашњости васионе, старењем 
догађаји нам постају неизвеснији. Верујемо да је пре 13,8 милијарди година био „велики прасак“ 
(В!5 Вапг) иза којег „није било свемира“. Доследно ергодичкој теореми, овде даље сматрамо да је 
тај древни догађај крај наше моћи опажања, али не и „реалност“ каква је „заиста била“. Другим 
речима, постулирана објективна неизвесност, било да је Хајзенбергових релација неодређености, 
или на начине горе поменуте, води нас у екстремне космичке неизвесности. 


Временска баријера неизвесности (можда 14 милијарди година) васионе, коју сада откривамо, те 
позната просторна баријера граница видљиве васионе“, као и субквантне величине мање од нај 
мањег дејства, објективно су нам границе макар неке извесности. Цеђење, емисија информације 
из таквих, даје нам понеко сазнање упркос начелу штедње информације. Овај минимализам који 
нас у информисању „објективно“ спутава еквивалент је „чешћем дешавању вероватнијих исхода“, 
или „принципу најмањег дејства“ физике, а оба произилазе из одбојне „силе неизвесности“ и ко 
зна чега још. То су новине ове теорије. 


Према томе, оно што видимо као позадинско микро таласно зрачење из самих почетака настанка 
васионе, због ергодичке теореме, заправо је шум канала преноса информације. Та далека васиона 
свугде скоро иста својствена је вредност информације која је допутовала до нас, са краја времена 
до наше садашњости. Шта год да је тамо тада било, ми видимо шум у облику „великог праска“ и 
верујемо да је након дугог низа копирања нама испоручена информација (или израчуната по нама 
датим законима физике) тачно једнака оригиналној. 


Информације које васиона преноси трајањем мењају се ка својственим дате васионе, а у мањој 
мери и саме мање честице мењају саму васиону. Додатно, зато што се и сами догађаји васионе 
помало креирају, поред тога што се рекреирају (дати препакују), ова процењивања прошлости 
утолико су тежи посао. 


Укратко, васиона се хлади, јер све даље (старије) њене делове виђамо као ближе „црној кутији“. А 
топлота која се „креће ка нама“ сведочи о повећању ентропије супстанце и топљењу њене инфор- 
мације у простор-време којег зато сматрамо има све више. Једнако доследно чини се да би могло 
бити и следеће тумачење. Супстанце је све мање на уштрб све више простора, а прва се лакше тра- 
нсформише у другу, па је и све мање исхода, све мање емитованих информација, те је све спорије 
протицање времена. 


Према овом додатном (другом) тумачењу, наша садашњост као да пропада у црну рупу, при чему 
нам време тече све спорије а дужине постају све краће. Прошлост нам је све даља (у оба смисла, 
просторном и временском). Због истог, васиона нам се чини све већом, али онда и наше време у 
односу на све даље галаксија тече све спорије. Део тог успоравања компензује се удаљавањем. Та 
реалност која нас окружује попут сфера је све већих извесности окружених неизвесношћу, њеним 
силама истиснута. 


Не морају оваква тумачења једна друго оповргавати, напротив, наизглед различите тачне теорије 
могу једна другу подупирати попут геометрије, алгебре (координатна геометрија) и вероватноће. 
Овде имамо и уситњавање система којем се парцијалне информације смањују, због конзервације 


33 Даље галаксије све се брже удаљавају, све даља васиона све се брже шири, тако да видимо само онај њен 


део који се креће до брзине светлости. 
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количине. То је увећавање различитости при умањивању информације, распадању глобализма“ у 
случају евентуалног утезања света бољом организацијом, као кристализација течности приликом 
хлађења (губитка информације њених молекула) а затим и одвајање. Увећање реда, ефикасности, 
јасноће текста, значе смањивање информације, а оно се одупире на своје начине, као и покушаји 
повећања информације рецимо инсистирањем на једнакостима. 


Када има где, информација (неизвесност) система кретаће се од веће ка мањој вредности, што је 
управо спонтано хлађење (повећање ентропије) тела, односно смиривање буре (тежњом честица 
за мањим физичким дејством), паду флуида избачених из вулкана или гејзира због сила теже. Тако 
се понаша и развој живота, путем младости преко зрелости и старости до смрти. 


Једначина топлоте даје решења функције чији врхови (локални максимуми) постепено опадају, а 
депресије (локални минимуми) бивају попуњене. Вредност у неком тренутку остају стабилне само 
док су једнаке просецима свог непосредног окружења. Суптилнија последица је облик максимума 
чије вредности у било ком региону медијума не прелазе највеће вредности која су се пре десиле, 
осим ако нису биле на граници. То јест, максимална температура у региону може порасти само 
ако топлота долази споља. Ово је својство параболичких парцијалних диференцијалних једначина 
које се лако доказује. 


Следеће занимљиво својство је да чак и ако ток топлоте у у почетку има оштар скок вредности 
преко неке површине унутар медијума, тај се одмах изглађује тренутним, веома кратким и веома 
брзим протоком топлоте кроз ту површину. На пример, ако се два изолована тела, у почетку на 
уједначеним али различитим температурама додирују једно друго, температура на контактима ће 
одмах попримити неку средњу вредност, са зоном варирања постепене промене около. 


Информација перцепције (5 = ах + ћу + са + ·-) већа је када се сударају истоврсни укуси, већи са 
већим а мањи са мањим (3: 3+2':2 +1:1>3:1+2: 2 + 1 · 3). Тада су комуникације веће, па 
је и притисак начелног минимализма информације већи ка разводњавању, организовању, ефика- 
сности, ради каналисања, елиминисања „сувишних“ опција чиме смањивања информације. Али са 
мањим појединим информацијама увећава се раслојавање целине (закон одржања количине) и 
процес који личи на кристализацију течности хлађењем и даље пуцање на мање делове, постаје 
познати нам процес откривања детаља фокусирањем и проучавањем целине. 


1 Глобализам у савременим друштвеним кретањима. 
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78. Средња вредност 

Када имамо неку смешу различитих вредности х1, Х, ..., Ху неједнако заступљених, вероватноћа 
појављивања редом р1, 72, ..., Ру, а разматрамо целину не марећи за делове, тада замишљамо да 
радимо са неких п једнаких делова вредности х) = (х, + Х; + + + Ху )/п. Често ћемо тада добити 
задовољавајуће резултате, као да радимо са стварним различитим вредностима. 


На пример, уместо са свим деловима тела лакше је радити само са његовим тежиштем, нарочито 
када рачун даје једнаке резултате. Тако радимо са центрима гравитације небеских тела, уместо са 
свим честицама које та тела садрже и, као што знамо, у космичко ракетној технологији, довољно 
тачно израчунавамо трајекторије. Слично опажамо чашу док пијемо воду из ње, не марећи за број 
и распореде молекула од којих се она састоји. Теорија информације са овом применом има своја 
занимљива запажања. 


конвексна у=ћх) конкавна 


На слици, коју сам позајмио из моје збирке задатака за ! разред гимназија!, прва функција је уду- 
бљена (конвексна) а друга је испупчена (конкавна). Дуж која спаја две тачке графа лево биће цела 
изнад графа, а одговарајућа дуж десно испод графа. Када су апсцисе крајњих тачака дужи х и Х, 
тада за свако х Е (х1,х;) постоје два реална позитивна броја р и д за које важи р + да = 1, а да је 
притоме Хх = рх, + 02. 


Тачка криве апсцисе х има висину, тзв. ординату / (х) = ј (рх, + 4Х2), а ордината тачке спојнице 
је рј (1) фај Со). Са слике се види да на конвексној и конкавној функцији важе једнакости: 


Кох) < руба) фај бо), Ја) = руба) +а[ 2), 


редом, где једнакости важе ако и само ако је и у = | (х) права линија као и спојница. То је иначе 
добро позната Јенсенова неједнакост коју сам овде доказивао и помоћу логаритама [19.]. 


Лема 1. За конвексну функцију у = Ј (х) важи неједнакост 
Граха + раха + рзха) 5 рај ба) + р2 02) + Р3] (Ха), 


где су ра, р2, Рз позитивни реални бројеви такви да је р, + р; + 3 = 1. 


5 Слика 1.19, ћЕр5:/ мм. асадет!а.е4и/20139005/7ђи Ка гадатака | а витпаг!је 
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Доказ: Нека је р, = 1. Тада је 1 — р, = р; + рз = 0, па имамо редом: 


р2х; + п= Р 


Јах, + р2Х; + раХ3) = Ј ега (еру) Т—р 


р2х; + рзхз 


р2х2 + 555) 
1—р1 


= рајби) += Рој ( рг + рз 


) = руба) + а –роГ ( 


ху + = х: 
рг + рз рг + рз 


р2 рз 
об) + У) 


= ра ГЈ ба) + ро[ 02) + 013] (23). 


= ра [ ба) + (р; + рају ( = = У 


< рај ба) + (ф; + 13) | 


Ато је и требало доказати. 


Из примене претходне неједнакости види се да у овој леми једнакост важи ако и само ако је ] (х) 
функција равне линије. Индукцијом се ова лема лако поопштава на ширу Јенсенову неједнакост 


(> им – У реј (хк), 
кл кал 


која важи за све конвексне функције, за произвољно п = 1,2, 3, ..., при чему је У Ру = 1 иза 
свако К = 1,2,...,п је р; > 0. Приметимо да ова неједнакост постаје једнакост и у случају да је 
др =Х, = = ха- Друго, да обрнута неједнакост „>“ важи за конкавну функцију, јер ако је Ј (х) 
конвексна, онда је функција у = —ј (х) конкавна. Ова два случаја говоре о примени са почетка 
овог наслова, а ево како се то односи на теорију информације. 


Логаритамска функција је конкавна. Хартли је њоме одредио информацију Х једнако вероватних 
исхода, са [ (Х) = 108 Х, где базу логаритма можемо бирати дефинишући тако јединицу мерења 
информације. Отуда Јенсенова неједнакост за информацију каже да је 


п п 
об (>' 23 = > рк 105 Ху. 
к=1 к=1 


На левој страни је информација израчуната према оцењеној средњој вредности (тежишту) целог 
система, иначе не једнако вероватних исхода, а на десној била би средња информација детаља 
истог система. Другим речима, удруживањем детаља у систем, средња вредност информације 
порашће, сем када су ови детаљи једнако информативни (када Јенсенова неједнакост постаје 
једнакост). Такође, средња информација једнако вероватних исхода максимална је. 


Систем ће спонтано тежити раслојавању да смањи информацију (начело минимализма), али ће 
тада повећати број независних компоненти (закон одржања). 
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79. Емергенција 

У филозофији, теорији система, науци и уметности „емергенција“ (Етегвепсе) долази са појавом 
својстава неке целине којих њени делови немају сами. Она је појава особина, понашања, дејства 
делова која се јављају само приликом њиховог удруживања. 


На слици је мост“ који су направили мрави користећи сопствена тела како би ишли пречицом на 
путу који повезује њихово гнездо са извором хране. Како могу изградити такав мост, с обзиром да 
имају веома мали мозакг Како се договарају шта мора да се уради, како састављају план за мост, 
како и када одлучују да га саграде и демонтирају2... 


Много је сличних примера појава насталих удруживањем, још од времена Аристотела па до данас, 
углавном „необјашњивих“ текућој науци и не третираних теоријом информације. Оно што се овде 
може називати таквом емергенцијом, пре свега је вишак Хартлијеве информације 


АН = [о У руХк -> ру]овху > 


к=1 


где неједнакост постаје једнакост када и у горњој [78.] Јенсеновој неједнакости. Систем који има 
тај вишак емергенције, видели смо, напетији је и виталнији од опуштеног, јер је вишак количине 


6 Апдгеа Еагб, Маг 27, 2016: М/ћа! сап ап15 (еасћ из абош! огватга оп дезјрп> 
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опција, дакле информације и деловања, водећа одлика живих бића. Спонтано системи ће тежити 
ка развоју у мање информативне (више вероватне), мањим дејствима, мањем отпору. 


Код све неживе твари нама данас познате физике имамо управо најмања дејства, највећу могућу 
опуштеност и препуштање другим силама, која произилазе из решења Ојлер-Лагранжових једна- 
чина дефинисаних помоћу тог принципа. Тај минимализма интеракција важи и за олује, гејзире, 
тела у кретањима под дејствима сила, али не и за жива бића. Међутим и ова потоња, која немају 
поменуте минимуме, њима теже и зато након успешног развоја младости, стижемо до зрелости, 
затим старости и смрти. 


Друге и детаљније примере информатичког описа емергенција налазе се у мојој недавној књизи“. 
Тема тих прилога била је „физичка информација“, назива који би требао истицати њену форму за 
коју важи закон одржања, наспрам Шенонове, тј. средње вредности Хатлијевих информација дате 
расподеле вероватноћа. Овде ћу кратко навести један од тамошњих многих примера са нагласком 
на „вишак“ који крије „емергенцију“. 


Пример 1. (Бинарна расподела) Опит има жељени исход вероватноће р Е (0,1), чиме је нежеље- 
ни вероватноће д = 1 — р. Понављамо га п. = 1,2, 3, ... пута у непромењеним околностима и нала- 
зимо да се жељени исход појавио К = 0,1,...,п пута. То је модел типичне Бернулијеве расподеле 
(п, р), вероватноће 


рк = (2) рр“" 


да ће се у п понављања жељени исход десити К пута. Биномни коефицијент је 


ПА _ п! Поа МИ 
ПИ Рта ен 


Очекивање и варијанса ове расподеле суџ = при = пра. За Шенонову информацију 


п 
5у = – 3 ри!оврк 
к=0 


не важи закон одржања (5, > 71.5,), уместо које можемо дефинисати „физичку информацију“ са 


п 


п 
(| 
ћу = – > рејов(р“а"““) = – > (;„) [ра"-ов(рка"-Ћ)] 
к=0 


к=т 
за коју важи закон одржања (1, = пл). При томе је Г, = 5, једина једнакост ове две. |] 


У случају мноштва, п. > 1, рецимо удруживања, настаје „емергенција“ АН, = 5, — 1, која је расту- 
ћа величина са порастом броја „удружених“, тј. понављања п. 


У Растко Вуковић: ФИЗИЧКА ИНФОРМАЦИЈА, Економски институт Бања Лука, 2019. 
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80. Условни догађаји 

Да бисмо лакше разумели текст који следи замишљамо човека који куца слова неке азбуке, реци- 
мо из скупа (А = (е, 6, 63, ... ), али су примене много општије. То је дискретни извод података. Он 
куца насумице тако да производи низ независних случајних променљивих х, Х7, Хз, ... Е 4 за који 
кажемо да има меморију нултог реда [64. Без памћењај, или откуцано слово зависи најдаље од 
првог претходног када за добијени низ слова кажемо да има меморију првог реда. Уопште, ако је 
откуцано слово зависно до п-тог претходног кажемо да низ има меморију п-тог реда. 


Рана истраживања у теорији информације показала су да говорни (енглески) језик има средњу ме- 
морију реда 8 – 10. Можемо погодити да у тексту „ТЕ.ЕФОН“ на месту тачке стоји слово „Л“ пре од 
слова нпр. „А“, ако је реч извађена из новина. Исто тако, реченица „БРОЈ ТЕЛЕФО“ настављаће са 
словима „НА“. 


жжж 


1. Оно што је интуитивно препознатљиво, у примерима сличним претходним, јесте да се неодре- 
Ђђеност све дужег низа смањује. Када је сећање и присуство претходних образаца све веће, тада је 
фреквенција појаве слова у тексту све даља од експоненцијалне расподеле (|ебег Егедџепсу). Сли- 
чно нешто имамо, на пример у гравитационом пољу. Вертикалан пад слабог, Њутновог поља који 
даје експоненцијалну зависност гравитационог потенцијала. Она у јачим пољима Ајнштајнових 
општих једначина, или истих изведених из принципа најмањег дејства (Тће Гавгапгап), прелази у 
другачију врсту расподеле. Тада се дешава „повлачење простора“ за масом која орбитира виђено 
раније у случају померања Меркуровог перихела у смеру кретања планете око Сунца, а за које се 
такође (теорија информације) може рећи да је последица „памћења простора“ (АСС 114905). 


2. Приметимо доследност ових појава у тумачењу случајности [27. Сила неизвесности]. Када исход 
мање зависи од прошлости он је више случајан, информативнији је, а крива расподеле таквих губи 
стрмост у односу на експоненцијалну. Недавно смо у расправи сличне теме наишли на још једно 
занимљиво питање. Колега се упитао зашто „радити више не значи зарадити више“, потакнут 
неким наводима из новина“, тражећи одговор са становишта „теорије информације“. 


Да, тачно је да особа која рутински ради, понављајући исти посао сваки дан, има мању плату од 
особе која доноси одлуке – одговарао сам – Када пажљивије истражујемо налазимо да начини 
рада који су ређи и због необичности бивају напорнији послови, знају бити боље плаћени, а још 
дубљим увидом дошли бисмо до препознавања неизвесности. Ето ту је „теорија информације“, 
управо у налазу „силе неизвесности“ као битног корена природних стања или покретача њених 
процеса, укључујући и стицање новца, моћи, угледа. Као да саме случајне појаве генеришу своје 
неслучајности. Условљавајући се догађаји се умрежавају, организују, постају ефикаснији, али на 
количини неизвесности, обиму опција – губе. 


3. На слично условљавање своди се и само наизглед сасвим другачије питање из струке биолога о 
подсећању цивилизација на жива бића, по израстању младости, зрелости и старости. Да, нова и за 
сада будућа теорија информације даје дубљи смисао тим познатим поређењима – одговор је – Да 
више опција деловања има живо од неживог бића, већом количином неодређености влада, али и 
један и други немир теже смиривању. Попут настанка, развоја и престанка олује, живот је такође 


18 ввс, ћЕр5:/ Лими Ббс.сотлмогк е/агсје/20170112-#-уои-мап!-[0-еагп-тоге-муогк-|е55 
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„неприродна тежња“, противна принципу најмањег дејства, који попут камена баченог увис пре 
или касније пада савладан општом привлачном силом гравитације. 


Кажем наводно (неприродна тежња), јер поремећаји су природна појава, као и различитости и 
уопште непредвидљивости. Штавише, иста одбојна „сила неизвесности“ која чини вероватније 
исходе чешћима, која преферира развоје у мање информативна стања, постаје равна са „силом 
различитости“ која би да бројност независних компоненти увећава. 


Наиме, како систем (живо биће, цивилизација, титрање молекула течности) попушта у „количини 
неизвесности“ постајући усмеренији, губећи неизвесност (друштво се организује у „ефикасније“, а 
течност хладећи се кристалише), он шире гледајући због закона одржања неће губити своју укупну 
количину неизвесности, информацију. Систем тада утолико увећава своје независне компоненте 
колико се утеже и регулише. Другим речима, предефинисањем систем губи на виталности и нужно 
се распада. 


Живот се у свом залету младости кад-тад нађе у зрелости и даље враћа мировању током старости. 
Најстарије клонско дрво на свету (норвешка смрека) старо је 9550 година и налази се на планини 
Фулуфјалет у шведској провинцији Далама. Открио га је професор физичке географије Кулман који 
га је назвао по свом псу старом „Тјику“. Верује се да је вегетативно клонирање и слојевитост узрок 
дуговечности ово дрвета. Током вегетативног клонирања, стабло дрвета може да умре на сваких 
стотинак година (око 600 у овом случају), али систем корења може да живи и даље и то хиљадама 
година. Слојевитост се дешава када једна од грана дотакне тло и временом „постане корен“. Век 
живота људи у просеку је мањи од 80 година, а неких инсеката тек је један дан. 


Свођење на исто начело живих и неживих бића једна је од самих првих последица поставки (моје) 
теорије информације и један од разлога зашто не волим да је популаришем. Помало заобилазно, 
али једноставно писао сам о томе у „Причама“. Парафразирајући, већа ће међусобна условљеност 
делова целине снижавати њену укупну информацију и тражити допуну повећањем разноврсности 
структуре. Ако је поменута последица поставки ове теорије тачна, онда исто важи и за жива бића. 


4. Више пута сам морао објашњавати да „живо“ биће од „неживог“ разликује вишак информације 
које оно поседује. Тај квантум чини границу виталности на вишем нивоу од кванта дејства, а са та 
два прага, нижег Планковог, који је дно познате квантне физике и, са друге стране, по сложености 
вишег од којег почиње биологија, два су од много делова „теорије информације“. Испод речених 
биле би неслободне информације које се физичким простором не могу кретати саме (ван кванта 
дејства), а оне далеке, углавном изнад ових, биле би бесконачности. Очекујемо да је условљеност 
сложенијих система све већа. 


Спонтана је тежња природних процеса ка мање информативним (вероватнијим) стањима. Томе 
им стоји на путу закон одржања информације, а начини да прово начело (смањивања) заобиђе 
друго (конзервације) је путем многострукости:3 и памћења. Када разлика суседних „потенцијала“ 
(вероватноћа, информација) постаје превелика, као у прејаким гравитационим пољима, тада и 
простор почиње „да памти“. Ефекти тог „деловања прошлости на садашњост“ виде се у кретању 


13 Р, Вуковић: МНОГОСТРУКОСТИ, Економски институт Бања Лука, 2018. 
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елипсе путање Меркура, или у појавама које називамо „тамном материјом“. Заправо и у многим 
силама нашег свакодневног физичког окружења. 


Укупна информација садашњости допуњена оном пристиглом нам из прошлости константна је. 
Међутим, васиона не постаје све развученија у времену само у том смислу, она је и све шира у 
временским паралелним димензијама, а уједно постаје и просторно све већа. Тела око нас зато 
су, релативно у односу на тренутке из прошлости, мало по мало инертнија (сгомлпг), време тече 
све спорије (смањивање информације садашњости), брзина светлости све је мања (све даље 
галаксије чине нам се још све даље). Али допирања наше спознаје у дубине прошлости, ширину 
паралелних времена, такође и у просторне даљине имају своја ограничења [61.2. Ергодичка 
теоремај. Никада не можемо знати да је то што перципирамо (чулима, умовањем, уопште 
интеракцијама или научним знањима) све што „стварно“ постоји. 


80.1. Низови 
Полазећи од дефиниције условне вероватноће 


Рг(Хј,...,Ху—1, Ху) 
Рг Ла поре 


Рг(Х а |(Х1, ...,Ха—1)) = 
где је низ у загради пресек скупова случајних догађаја, добијамо 
РКО ние ин | Ри (рана пе БЕСА Овен нет 
или због адитивности информације 
Обри и) = У Оба ној ЊУ (Ка| Сб рно Жиот)) 
Отуда рекурзијом следи 
5(Х1, .., Хр- у Ха) = 505) + 505 |Х)) + + 5(Ха| Об, ..„Ха—1)), 
односно 
О су ај па у (а ти је о рај О је 


Лево важи једнакост ако и само ако је последњи скуп потпуно одређен претходним, а десно важи 

једнакост ако и само ако је последњи скуп независан од претходног. Интерпретирамо ли Ху, као К- 
то слово у реченици, тада лева неједнакост значи да је дужа реченица више информативна, десна 

да слово изван текста носи више неодређености од слова у тексту. 


Ове неједнакости говоре нам и о опадању информације када број слова текста расте, п — со, при 
чему информација сваког следећег слова опада. Тај се закључак може формулисати прецизније 


(Ка Об инт) | 55 (а Оба ет). 
Три последње релације се добијају и при разматрању канала. То проверавамо сменом 


у = (%,, пр), Х = Хула, 
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па уместо средње добијамо 5(Х) < 5(Х, У) < 500 + 5(7), а исто се добија са условним информа- 
цијама канала преноса К:р — д. Обрнуто, из тих неједнакости канала након рачунања са коефиц- 
ијентима могу се добити три послење релације, прво за дискретне расподеле, затим за континум. 


Вероватноћу да је низ од п слова 61, ..., е, пишемо Рг (Х, = 61,...,Ху = еу). Ако вероватноћа исе- 
чка од п слова не зависи од изабраног текста рећи ћемо да је текст стационаран. Прецизније, изв- 
ор података је стационаран ако за свако К,п = 1,2, 3, ... имамо 


РАС рра бре у = бр) БРЕС Е брау Ба). 


Текст неке књиге може бити приближно стационаран ако теме које књига обрађује требају приб- 
лижно константну количину појединих слова. Такви ће текстови имати приближно експоненција- 
лну расподелу, што значи да су и текстови чије сам фреквенције слова овде анализирао раније 
приближно такви. У наставку претпостављамо стационарност извора података. 


Дефинишимо средње информације низа од п слова са: 


зр = 5УО | у, - Жу-1) = -> Рг (61,...,е,) 105 Рг(е, |е1, ...,6, 1), 


1 1 
= 50, на а Е => Рг (61, ...,е,)1оРг(е, [61, ...,6у), 


где се сабира по свим комбинацијама п-чланих низова дате азбуке. Према томе је 5, средња свој- 
ствена информација једног од п слова у низу, док је 5, информација коју даје п-то слово у низу ка- 
да је познато претходних п — 1. 


Теорема 1. 


|. Низ 5, је конвергентан. 

ЈЕ Низ 5, је конвергентан. 

|. Пт 5, = Пт 5, = 5 < о. 

п— 00 п—0о0 
Доказ: Из горње неједнакости и стационарности следи 
0< 5 < (Ху |Х1, прау Кј = (Ху |Ха, пазе = 51—1- 
Дакле, низ 5, је ограничен и монотоно нерастући, па је он конвергентан, тј. Шп 5, = 5 < со. Тиме 
п.—00о 


је доказано (|). 


Из горње збирне једнакости имамо: 
1 
КУД == – а +... + Бај > ба 
= п-1 1 
КУН = " [5(%, МР „Ае + Ху, па „= ЕЈ] = –— 5 1) + –5% 


п—71 1 
5у 5 во + „У 


Растко Вуковић [2] 


ИНФОРМАТИЧКА ТЕОРИЈА || 


односно 5, < 5,_1. Низ 5, је ограничен и монотоно нерастући, па је Ит 5, = 5 < со. Тиме је до- 
п—0о0 


казано (Н). 


Због 5, > 5у (п = 1,2,...) је 5 > 5. Са друге стране, због 5, < 5,41 имамо 


1 1 
= ПЕРЕ [5(Х), ..., Ху) + Зуаа + 7 + Зла] 5 пети [5(25, ., Ху) + пара] 


Пустимо ли да п — со добијамо 5 < 5,141, а за т — со добијамо 5 < 5,125 =#5 Со. т 


Информација 5 = 5 у датом тексту представља средњу вредност информације коју садржи једно 
слово азбуке од а слова. Оне достижу максимум када се свако слово појављује једнак број пута у 
тексту и тада је 5 = 1081. У српском језику са ! = 30 слова (у енглеском ! = 26) плус размак, па је 
Зађ = 1082 31 ~ 4,95 (5епа = 108 27 ~ 4,75), док је информација говорног“ српског језика 4,31 
(енг. 4,14). Што је разлика између ове две, максималне и стварне информације слова дате азбуке, 
већа – то је текст садржајнији, смисленији. Такође, ово смањење информације, као и редунданса 
(1— 5/108 [), помаже да одгонетнемо нејасне, погрешне или скраћене речи. 


80.2. Понављања 

Опетћу рећи нешто о законитости великих бројева, сада са становишта редундансе (понављања 
речи истог значења), односно условљених догађаја. Попут боље организованог система, доследан 
текст који поседује предвидљост, или обрнуто речено који не поседује сувишне опције – мање је 
информативан. Он наликује преопширном излагању са пуно сувишних, непотребних речи, или 
понављања саопштења у комуникацији како би се избегао неспоразум. Тај вишак функционално 
истих елемената у једном механизму ради појачане сигурности његовог деловања, који га чини 
редундантним, који му смањује неизвесност, повећава му поузданост. 


Овај „формализам редундансе“ можемо препознати у физици мноштва честица термодинамике, 
који налаже да се молекуле гаса у соби распоређују на случајан начин, али тако да се поравнавају 
у средње вредности (математичка очекивања). Оне се зато никада неће све затећи у једном ћошку 
собе остављајући нас да умремо у вакууму у делу без ваздуха. Слично просторном распоређивању 
„понављања“, дешава се временско распоређивање развојем васионе у све извеснију, све дужег 
памћења о којем сам више пута писао, а сада са нагласком на развој око једне средње вредности. 


У (хипојтези да се време садашњости све више шири у паралелна времена (универзуме), такође је 
присутно ово усредњавање. Са порастом извесности наше садашњости њена информација све је 
мања, њена разуђеност све је већа и дебљина на случајан јој начин доступних временских псеудо 
реалности увећава се. При томе, свака од паралелних реалности ограничена је слично нашој, она 
поседује много веће ширине од из ње „оптички видљивих“, а токови сваке од њих као да све више 
личе једни другима. То је попут континуума правих из исте тачке које суседне, а удаљавањем од 
заједничког исходишта, све све више личе на паралелне. 


У хипотетичкој теорији према којој је информација ткање простора, времена и материје, а њена 
суштина је неизвесност, у таквој је и сама васиона неизвесност у оба смера, изнутра и извана. Та 
очекивања потврђује и тополошки приступ овој проблематици (Отепзјоп5) из којег следи једнак 
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број временских и просторних димензија, односно бар 6 димензионалност простор-времена наше 
васионе. Затим просто ширимо перспективу на одговарајуће 4-дим њене делове. 


жжж 


Вратимо се сада на Чебишевљеву неједнакост коју смо и овде [76.2.] доказивали 


02 
Рт Х|>е)<—. 
с 


Полазећи од произвољног низа Х1, Х5, ..., Ху, у којем случајна променљива Ху има математичко 
очекивање ик, дефинишемо нову променљиву 


п 
= –> с, – их). 
к=1 
Очекивање ове променљиве је: 
1 п 
ЕС) == У (ЕС) = и) =, 
к=1 


па је варијанса: 
(у) = Е (1, ЕС = = з Х 
б (ПРДЕНИ С п)) о а“ К | 
К 


Непосредно из Чебишевљеве неједнакости сада следи следећи тзв. Марковљев закон. 


Ако је низ случајних променљивих Х1, Х, ... такав да 


1 2 
ЕЦ У Х > 0 
[4 


када п — со, тада за сваки 2 > 0 


п 


п 
У > 
Ри Клу Ик 


к=1 к=1 


ШИ Рг 
п— 00 
Посебно, ако су променљиве независне, због 
„(ул ј- у го 
к к 
имамо познати Чебишевљев закон великих бројева [26. Пример 2]. Према томе је Марковљев 


закон поопштење Чебишевљевог за низ зависних случајних променљивих. 


жжж 
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Интуитивни смисао Марковљевог закона великих бројева јаснији је ако претпоставимо да је свако 


ик = 0. Тада 
г гј- 


када п — со. Дакле, аритметичка средина низа бројева Х,, Х,, ... се групише око очекивања једног 


п 


Уз ба 
к к 


к=1 


Ху (КЕ = 1,2, ...). Поменути закон даје потребан, али не и довољан услов за такво груписање. Ради 
тога следећи став. 


Теорема 2. За произољан низ случајних бројева У1, У, ... вреди Рг (|У | > 2) — 0, када п — со, за 
свако 2 > 0, ако и само ако очекивање 
уг 
Е|—-| > 0 
1+ у; 


Доказ: Према Чебишевљевој неједнакости имамо: 


6: )_ ТЕ СОК) ње: у: 
. < . Е – 
22 1+22 Е% 1+72 


када п — с. 


а АЦО ЈН и ти 


Тиме је доказан први део теореме. Претпоставимо да је У, непрекидна променљива. Тада је: 


2 


РиЈУ | = 2) = | 


|ујге 


авио > | ЧЕ) = 


6 а 
узе 1 ЊУ“ 


2 2 
У у | 

пе бује БА 
Ту ањ(у) – ле п(у) = Е (82) 


Сличну неједнакост добијамо за дискретно У,. Када г — 0, а затим п — со, доказујемо други део 
теореме. Ш 


Очекивање и варијанса су линеарни оператори, па уместо Е(Х,) и 42 (Х,) можемо писати краће 


ЕХу ис“ Х,- Због: 
п 


к=1 


у: 5 
Јак 7" 


1 | 
= => (С, – ЕХ) ко 
кал 


последица ове теореме је Марковљев закон великих бројева. Наизглед безазлено и очигледно 
тврђење 2. теореме у себи крије и Бернулијев закон великих бројева, што ћемо видети у следећем 
примеру. 

Пример 1. Статистичка вероватноћа (р) неког догађаја (Х = е) се дефинише као однос броја поја- 
вљивања (х) тога догађаја и укупног броја (М) поновљених независних опита. Догађај се у једном 
опиту или десио (са вероватноћом р) или се није десио (а = 1 — р). Тада је ЕХ = р, 0:Х = ра < > 


па из Чебишевљеве неједнакости непосредно добијамо да за свако 2 > 0 је 
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Рг (|-->ј > 2)-0 


када М — со. То је Бернулијев закон великих бројева за независне догађаје, који је специјални 
случај 2. теореме, за У, = “= р. О 


Пример 2. Када имамо низ од М = 1,2, ... независних опита у којем се К-ти догађај, вероватноће 


рк, реализовао Х = 0,1, ...,М пута, тада важи Пуасонов закон великих бројева 
Х р+р;+:+ри 
А > 
5 | ( М М | : 2 0, 


>, где је ду = 1 — ру, па због 


ЕХ, + + ЕХу = ЕХ = р] +: + ру и независности опита 6 2Х, + -:- + а“Ху = 0'Х = М · 02Х,, 
те је: 


за свако 2 > 0. Наиме, у К-том опиту је ЕХу = ру, С Ху = Ре ' Фе < 


када М — со. 
У оба наведена примера низ опита је независан, а низ Х), Х, ... ергодички. 


Подсећам, у физици, статистици, економетрији и обради сигнала, за стохастички процес се каже 
да је у ергодичком режиму ако је просек опсервабилног ансамбла једнак временском просеку. У 
овом режиму, свака колекција насумичних узорака из процеса мора представљати просечна ста- 
тистичка својства целог режима. Насупрот томе, за процес који није у ергодичком режиму каже се 
да је у неергодичком режиму. 


Замислимо, међутим, исти низ опита као у горњим примерима, али тако да је Х, укупан број реа- 

лизација до закључно К-тог опита. Тада низ Ху није независан, јер очито зависи од збира свих пре- 
тходних реализација. Ако се дати догађај уопште дешава, тј. ако је његова вероватноћа позитиван 

број, онда очекујемо да случајна променљива Ху неограничено расте када К — со. Тада имамо је- 

дну дивергентну расподелу са дисперзијом која не задовољава услов Марковљевог закона. 


Када низ у1, 7, ... има растуће дисперзије, тада су и дисперзије низа Х,, Х;, ... растуће, па за њих не 
важи закон великих бројева. Тада нема нагомилавања вредности низова у граничном случају, од- 
носно они немају граничне вероватноће. Обрнуто, ако дати низови немају граничне вероватноће, 
то значи да им вредности за п. — со „осцилирају“, што другим речима значи да им дисперзије не 
теже нули. 
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81. Ергодички извор 

Својство ергодичности у суштини значи могућност преласка стања у било које друго стање. Тако се 
ергодичка теорема [61.2] односи на матрице преноса информације које имају макар колико мале, 
али све врсте грешака. Почетни сигнал постепено, преносећи се дугим низом таквих матрица, све 
више постаје својствени вектор дате матрице генератора канала, а канал трансформације на крају 
је „црна кутија“. Свака улазна порука адаптира се у исту излазну. 


У стварности, на пример еволуцијом живих бића на земљи, преноси се генетска информација кроз 
окружење, али тако да се обе прилагођавају једна другој. Важи ергодичност иако немамо један те 
исти, константан канал преноса, па почетно окружење заједно са живим бићима унутар, процесом 
еволуције све мање личи каснијем. Слична овој је и раније помињана „еволуција“ васионе. 


Пример 1. Нека за вероватноће важи а +] = Тир + а = 1, где дђ,р,д > 0. Оне су коефицијенти 
матрице ергодичког канала 
ВА 
р 4 


(+ о) = (2). 
| — Л)х, + 6х; = 0, 
рх, + (8 – 2)х; = 0. 


Својствена једначина КХ = Ах, даје: 


Да би овај хомогени систем једначина имао нетривијално решење (поред х, = х; = 0) мора му 
детерминанта бити нула: 


а— А ђ | 
р 4-%1/ 


12 — (5 + 4)/ + Бр – ад = 0, 


што је увек тачно за својствену вредност 4 = 1. Тада из горњег система добијамо х, = х; = 1/2, 
где је урачунато да је х вектор расподеле. [Д 


Својствена бинарна расподела са две исте вероватноће, матрице овог примера, резултат је сваке 
поруке преношене кроз канал дугог низа њоме генерисаног. Та коначна порука не дефинише ону 
полазну нити мало, а од свих могућих бинарних вектора садржи максималну информацију. Рекли 
смо да је максимална информација излаза таква јер се улазној шумом информација додаје (иако 
је уобичајено рећи да се она тако „губи“). 


Супротна овој композитној последици ергодичности је расподела по различитим вредностима Тзв. 
АЕР (АзутрТо с Еашраг Шоп Ргорегу) у локалу, коју имају сви ергодички извори. Ергодички извор 
се односи на процес у којем су сви низови или њихови велики узорци, једнако репрезентативни за 
целину. Такође, појам ергоичког извора укључује или се односи на вероватноћу да ће се било које 
стање поновити са нултом вероватноћом да се било које стање никад не понови. Природа воли да 


свакоме да неку шансу, али не воли једнакост (Еаџа ћу). 
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Претпостављамо и даље да је говорни језик стационаран и ергодички (неких шанси за све), тј. да 
је низ изговорених слова стационаран и ергодички низ, што ћемо касније искористити за тражење 
оптималног кода такве класе језика, затим модел применити и протумачити у другим ситуацијама. 


Тако, листајући опширан речник може нас изненадити колико је много ретко кориштених израза у 
свакодневном животу. Без обзира што су они свима нама познати, прислушкивајући разговоре на 
улици по цео дан безуспешно ћемо чекати да их неко употреби. Ову особину ретких речи обично 
правдамо непотребношћу, ризиком да нас саговорник неће разумети, или на трећи начин, често 
субјективан, али стварни разлог може бити далеко од тога. 


Показује се да је поменути опис особина ергодичког језика, који се може поделити на скуп ниско и 
високо вероватних речи, рецимо А) и Ај, што и није неко изненађење, али јесте да вероватноћа 
првог тежи нули (Рг Аб — 0)и да је он (Ар) велики подскуп језика. Другим речима, давање шансе 
свима рађа законитост да велики део њих чини безначајнима! 


не-ергодичан 


Пример 2. Бацамо новчић 100 пута= и добијамо пиз падања „главе“ (Неад) и „писма“ (Тап), Н,Н, 
Н,НЊН,Т, .,Н,Њ,Н, 7, 7, у којем се прво јавља 58 пута а друго 42. Када бисмо поновили радњу, не 
би добили исти низ Н-Т, нити можда исти однос 58 : 42, иако су шансе ова два исхода пола-пола. У 
неком трећем, четвртом, ..., п-том понављању оваквих 100 бацања новчића добијали бисмо разне 
од ових 100! = 1 2 · 3 --·- 100 начина падања, али неки би се појављивали ређе од других. Оних 


најређих било би највише, а шанса да се појаве била би ништавна. [Д 


Даље поопштење овог примера са новчићем, са два једнако вероватна исхода, је биномна распо- 
дела [34.] са п понављања (у примеру п. = 100) са вероватнћом повољног исхода 7 Е (0,1) и неп- 
овољног (свих осталих) а = 1 — р, константних позитивних бројева. У примеру р = а = 0,5. Слике, 
графици примера биномне расподеле у поменутом наслову показују како се исходи групишу када 
тражимо К = 0,1,...,п повољних исхода у п понављања, са вероватноћом 


п 
ре(п) = ( р“д“, 
Овај број је максималан око очекивања (џи = пр), са брзим опадањем около. 


81.1. Раздвајање 

Знамо да је 1 = — 108 Рг (е) информација слова е неке азбуке 21, где је Рг (е) вероватноћа појављ- 
ивања тог слова. Да бисмо дошли до информације Г у дугачком тексту можемо поћи од реченице 
дужине п. = 1,2,3, ... слова и средње информације по слову 


21 Ер а Сот 100 Титез, ЕЕр5://р-а-сот-козвег.сот/сот-1055-100- те 
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1 
Та (24, -., Хр) = – = 105 Рг(2а, ..., Хр), 


где је Рг(, ...,Х,) = р вероватноћа поруке Х = (Х1,..., Ху). Како је број р случајан, то је ђ,1, 15, ... 
случајан низ. Математичко очекивање таквог низа је: 


М па 
– -> Рг(х)]ов Рг(Х) = 552) ==5, 
где се сабира по свим п-чланим низовима Х азбуке 4. Према теореми [80.1. Низови, 1] је 


ћи Ер = 5. 


п— 00 


Познајући лимес очекивања ми још увек не знамо 1 = Ит |,. 
п—0о0о 


Друго, нисмо поделили језик на ниско и високо вероватне речи. Ради тога приметимо да се очеки- 
вање може поделити на три дела 


ПОЖОЖОХ 
Туба-у | а–ухђ<а+8 рра+в 
гдесуа> 0,8 > 0иу > 0 произвољни. За први од ових сабирка је очигледно 
а с(а—у) Ба В, = (а – у) РГ, < а –у), 
Туса-у Туса-у 
а за другу и трећу партицију је: 
<(а + В)Рт(а— у < 1, Де + В) < 
а–В< ћу <а+в 
< (а фуЈРИ, =а=— у) = (а фу – Ри, <#-8)), 
СРгЏ, > а + БЛоБРтТИ > а + 8). 
Ту >а+В 


Нека је ! број слова азбуке, а А с «А подскуп језика састављен управо од речи чија нам вероватно- 
ћа треба, тј. 


А=(бц, Хр): Ра). 
Тада је У, Рг (Х) = Рг (А) < 1, РГОА) = 1 где се сабира по свим низовима Х Е А. Сада је 
5(А) < п ·1051, 


јер је на десној страни неједнакости максимална информација п-чланих низова (а различитих еле- 
мената). На левој страни је: 


Рпа) Рг(%) 
РРА) ОВ Бај 
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– 3 Рг(Х) 1ор Рг(Х) < Рг(А)Лова — = РСА) Ор Рг(А). 


ХЕА 
То је релација за трећи од горњих сабирака. Сва три сабирка заједно дају 


Е!, –ад В — (8 +у)РТ И Да — у) + 
1 
+ Рт > а+в) Јова – – РТА > а + В)лоБРги > а +). 


Последњу релацију и њен гранични облик користићемо за доказ наредна два става. 


81.2. Две теореме 
Нека је: 


А – високовероватан подскуп језика, са ! слова, састављен од речи дужине п; 
1, – максимално |, за фиксно п језика, тј. |, = – ов Гили! = 6"; 
0, (1) – вероватноћа високо вероватног скупа А, тј. 
0,(1) = Рг (470) = ТИаСРЕ (= (Кељафије 
хјел 


Теорема 1. Важе тврђења: 
. О С)<Рти, < 1 +р)+ 57 В,В>0Ођ> 1; 
Н. _ Ако за свако В > 0 је Штп Рг(1, > 5 + 8) = 0, тада је Ит Рг (|7, – 51< 6) = 1; 
п—0оо п—0оо 
|. Ако УВ > 0 постоји природан број т) такав да за сваки т > тр је Пт Оу(ћ, + 8) = 1, 
п—>0оо 
где је ћ,, дефинисано [80.1. Теорема 1], па (УВ > 0) Пт Рг (|, – 51 < 6) = 1. 
п—0оо 
Доказ: Раставимо скуп свих речи дужине п на два дисјунктна подскупа: 
С = (2: р <1+6), С,=(х: 5 >, +). 
Тада је: 


д,(1) = Рт (АС) = Рг (АСО п (1) + Рг (АС п С) < Рг(С,) + Рг(АЈ У п С). 


Ззахе АОУ п С, је Рг(2) < е“"1+8), те је Рг (477 (а С;) < [е“1+8) = е“78, јер скуп дуо п С, има 


мање елемената од скупа 45 а овај их нема више од !. Сменом у претходну једнакост добијамо 
доказ прве ставке (|). 


Доказ за (1) добијамо из претходног лимеса и доказа треће партиције. Сменом 68 = 5 = ЕГ,, биће 
у аеро 
Ила зар Рг (1, < Ећ, тег 


Како је по претпоставци 8 > 0 произвољно, то је последњи лимес нула. Стављајући у = 6 излази 


доказ за (1). 
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На основу (1) стављајући |, = Ла + В добијамо 
Рт, < ћу + 20) > Ол (ћа + 8) – ђ7%, 
те је 


ћт РгИ, < ћу +28) = 1, т > тр. 
п—0о0о 
Како је ћу 5 нерастући низ то постоји 8 > 0 такводајећ, < 5 + | или ћу + : < 5 + В. Отуда 


Рг(ђ,<5+6) > Ребус ћи +) > 
Рг(1, < 5 + 8) 1. 
Због (1) добијамо (1). Тиме је теорема доказана. ш 


У управо доказаној теореми (недоказане) претпоставке (1) и (11) дају последицу 0), — 1,1, — 5. Са 
следећим доказом тих претпоставки потврдићемо постојање подскупа језика вероватноће и дока- 
зати да је информација по слову једнака информацији језика. Ова последња етапа је могућа за ер- 
годичке изворе. 


Теорема 2. Нека је 5 > 0 информација стационарног ергодичког извора и 


ја = 1,6) = – = 1овр Ре (8) 
информација по словуу речи дужине п. = 1,2,3, ... од ! = 1,2, ...,п различитих слова. Тада је 
Јап Рг (|Љ —5|>=<Ее)=0 
за свако г > 0. 


Доказ: Нека је дата реч Х = (Х1, Х, ..., Ху), Х; 6 4, т < п. При емитовању низа од п. слова та реч 

се појавила у, пута. Понављајући поступак долазимо до статистичке вероватноће 7, /п појаве ре- 
чи х. Претпоставка да је извор ергодичан значи да постоји број р = Рг (х) такав да за п — со буде 
па > р. Дефинишимо 5. скуп свих низова дужине п у којем се дата реч Х појављује са учесталош- 
ћу 2,/п различитом од р за мање оде > 0. Прецизније 


Е: У, 5 
(оу (х = (Хау руље) Жиј а 2 Лртат: = Рг 3] < В!|. 
Показаћемо да је 
Јп, Рг(х) =1. 


Комплемент скупа С, је 
а Па 5 
С, = (Је 3 ЕКОЈ > в) 


те је: 
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– (УЛ ~ 
Реса) = 1= РС У = :з Рг (|= – 0) > В) < ~ г 
х х 
због ергодичности извора, чим је п. > пр. Како свих речи Х дужине п има мање од !" то десни збир 
не прелази ["2г. Према томе је 
Рг(Су) > 1— Гле. 
Како је г > 0 произвољно, а п фиксирано, то је тачан горњи лимес. 


Показаћемо да у скупу С, нема више од ђ"т+8) елемената, где је ђ > 1 база логаритма инфор- 
мације. За произвољан у = (ул, у, --., У,) дефинишимо функцију 


п 
76) = бб, Зи Ули == оЈа) = Ребни = пута) | |РибиОп-пааи = 3-а)). 


=т 


По дефиницији, за Х Е С, је: 
у == 
— < Рг(2) + 8, 
п 
у, < п' [Рго)) + 8]. 
Отуда 


= (28 
76) = Ред = Ут-а) | |Р'бли| си, --„и-) 1", 
х 
јер међу условним вероватноћама има ту, једнаких, па је: 


10) = РгОл, ..,Ут-1) ' | |РеСсијса, за] 


(бре = ГРебл, „ул | |Ребљајба, хан) 777. 


Због ергодичности извора за свако 2 > 0 постоји природан број п) и такво 6) > 0 да за свеп > пр) 
иб<в < во важи 


Грба, == ул- ај | Р'беај ба, = хан У 267" 


Тако је 


перу > бг. | | Рика Са, = ха-9 7. 


х 


Логаритмовање по бази ђ > 1 и због дефиниције ћ,, излази: 


Јову [(у) 2 1: (-е – ћи), 
Ура ва, 
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Означимо са М, број елемената скупа С,. Због: 


М, ђ ћутње) < |4 8) <1, 


хеСу 


М, < | ћетљ), 


а то је управо горње тврђење о броју елемената скупа С,. Са друге стране, доказали смо и предус- 
лов за помоћни став. Ш 


Ове дугачке доказе тешких теорема многи неће читати, а и од оних који би можда то хтели многи 
не би разумели. Поједностављено речено, имамо низ 0)1, 0), ..., у независних догађаја, делове 
неког скупа О2. Њихове вероватноће р; = Рг (0);) чине расподелу (свако р; веће је од 0 и збир свих 
је 1), са средњом вредношћу информације 5 = —р. [ов р1 — рџ [05 ру. Највећу такву информацију 
(тах 5 = [ов М) имаће скуп једнако вероватних исхода (р; = сопз!. = 1/М). Али, тада свако р; — 0, 
када М — со, па је тврђење теорема очигледно тачно. Такође је очигледно тачно тврђење теорема 
ако је неки (мањи) део свих исхода значајно вероватнији од осталог (већег) дела. 


Оно што је теже запазити у интерпретацијама је да важи начело штедње емисије информације, да 
су вероватнији исходи чешћи догађаји а такви су мање информативни, те ће се стања развијати ка 
различитим вероватноћама. То је могуће уз одржање укупне информације рецимо повећањем М 

броја независних исхода. Друго, у случају ергодичности (неких шанси свих), реалност дела исхода 
подразумева псеудо-реалност још већег дела. Пример првог биле би тешкоће утезања глобализа- 
ције са „побуњеним групама“, због једнаке силе која води у распадање целине. Пример другог је 

огроман видљиви део свемира, што значи да је светлошћу нама невидљиви део још већи. 


Због МрРИ зоном разлике (УВ > 0) део скоро пите вероватноће много је већи од оног који се 

какав такав реализује (теорема 1). То са стан- 

" овишта неког посматрача (из центра О, круга 
на слици лево) њему репрезентативног дела 
миноран део може имати другог посматрача 
(из центра (0, десног круга те слике) коме ће 
управо такви бити важни, али са такође пуно 
више делова њему неважних. Стога значајан 
део изван важности оба ова два посматрача 

(01 0 0) лежи „тамо негде“. Другим речима, 
| прихватање претпоставке ергодичности (те и 

ове теорије информације) слаже се са „немогућности скупа свих скупова“ (Раселов парадокс), или 

са „ограничењем поседовања знања о свему“ (Геделова теорема немогућности). 


Е (еј 
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82. Асимптотска подела 

Асимптотска подела за општи ергодички извор следи из претходних теорема. Докази су били при- 
лично тешки и компликовани па је бит проблема остала нејасна. Укратко, имамо следеће. Низ слу- 
чајних променљивих х, Х, ... нека је у општем случају бесконачан, стационаран и ергодички. Све 
променљиве могу узимати било коју од вредности из коначног скупа слова 1 = (61,67, ...,6) ). То 
је азбука, чији произвољан подниз називамо реч или реченица. Скуп свих речи је језик /. 


Уводна теорема [80.1. Низови] тврди да сваки стационарни извор са коначном азбуком има конач- 
ну информацију, а ако је уз то извор ергодичан онда теореме [81.2. Две теореме] тврде да је инфо- 
рмација извора једнака просечној информацији једног елемента низа (Ху), тј. слова у тексту. При 
томе стационарност значи да се произвољно слово е; у сваком поднизу појављује са истом веров- 
атноћом р;, а ергодичност значи да иста особина остаје и за бесконачне поднизове укључујући и 
цео низ Х1, 2, ... 


Уз последње теореме такође је доказано да се речи стационарног, ергодичког језика (] могу разд- 
војити у два подскупа: 


Аб – ниско вероватних речи, 


Ај – високо вероватних речи, 


тако да је: 
(1) и ПА =, АЈА =; 
(2) Рг(А) = 0, Рг(Ау) = 1; 


(3) Мо(Ај,п) = 275, Мо(],п) = 27719821, 


У трећој једнакости скраћеница „Мо“ значи „број“, а Мо(А, п) је број речи дужине п у скупу А, база 

логаритма је 2 и информација је извора изражена у битима. Када су бар неке вероватноће слова р; 

међусобно различите, тада 5 < 102; !, па број 
Мо(А], п) 


= 27:(5—1082 1) 
Мо(ј,п) 


(брзо) тежи нули када п — со. У том је случају број високовероватних речи занемарљив део свих 
речи језика. Подела језика (1), (2), (3) је асимптотска ергодичка подела (АЕП). 


Ове особине је могуће и доказивати и појединачно, на посебним случајевима извора, што ћемо 
демонстрирати у следећа три примера наведена редом према тежини. 


82.1. Бернулијев случај 
Нека слова х1, Х, х3, ... извора узимају само две вредности, тј. 4 = (е1,е), са вероватноћама 


Ри(кр= јр, РЕхр=бј) = де; +:=412,3,. 


То је стационарни извор са бројем слова ! = 2, какав смо већ третирали [34. Бинарне расподеле] 
са другачијим циљевима, ергодички је са информацијом 


5=—>р Ловур —а 1058 < 1, 
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где једнакост важи ако и само ако р = д. Ово је и средња информација слова, тзв. Шенонова. 
Реч велике дужине п садржи приближно пр слова еј и пд слова е. Број речи је приближно 


п! 


ка (тр)! · (та)! 


Према Стирлинговој формули имамо: 
ПНЕ НЕНННННННН 0. 4 а НННННННИН 
[/2тпр· (пруг · е772] . [/2лпа · (паум · е“па] 
= плов; п — пр 105; пр — пд 105; па + (Лов; /2лп — 1082 /2лпр — 105» /2лпа) 
= п(– рову р – 4105; 9) = 5, 
или М, = 275, у бинарној бази логаритама. 


Дакле, речи које садрже пр слова еј и пд слова е; у скупу свих речи дужине пр + пад = п има при- 
ближно 277, а тај резултат је утолико тачнији што је број п већи. Иначе је број свих бинарних (дво- 
словних) речи дужине п тачно 2" (п = 1,2,3,...). 


Пример 1. При бацању коцке дефинишемо слова (А = (61, е |: 
еј – пала је шестица; 
е» – није пала шестица. 


Овде имамо низ бацања коцке са резултатима х1, Х, ха, ... где је у :-том бацању: 


1 5 
Рг(х =е1) = < Рг(х; = е,) = Е: 1=1,2,3,.. 


што је један Бернулијев извор података. Информација овог извора је: 
5 = = = = 0,65 
= — 10 —— – 10 == 0, 
6 52 б 6 82 Ра 
у битима. Низ одп = 100 бацања коцке се може реализовати на 2109 различитих начина. Међу 
таквима је и рецимо низ од 100 самих шестица који се скоро сигурно неће десити. 


Међутим, највероватније је да ће реализовани низ имати око 100/6 шестица и око 500/6 бројева 
који нису шестице. Ових комбинација има укупно 25. То је последица закона великих бројева за 
Бернулијеву расподелу. [Д 


82.2. Извор без меморије 
Имамо најопштији низ независних случајних променљивих х;, Х, Хз, ·.. од којих сваки х; узима не- 
ку од вредности из скупа А = (21,6, ...,6,). Видели смо да је информација таквих речи дужине п 


п 
5, =- > рроврј, п=1,2,3,., 
је1 


Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


где јер) = Ри(х; =е)),1 = 1,2,3,..Ј = 1,2,...,а. Отуда је информација извора 5 = 5, = 5(хр), ТЈ. 
једнака је информацији једног елемента низа. Другим речима, 5 је средња вредност информације 
слова у низу. 


До истог резултата долазимо полазећи од Хартлијеве дефиниције информације за једно слово 
1 = —105; Рг О), 
па је очекивање: 
п 
Е| = – > Рг(Х;) 108; Рг(%;) = - Уз обрурј = 5. 
хјел ј=1 


То је средња информација једног слова азбуке. Средња информација емитоване поруке од п сло- 
ва (међу којима може бити и једнаких) је: 


п 
1 1 
тужан – 106» РгОа, =.) Ху) = => ов; Рг(Х;), 
1 


јер извор нема меморију. Према томе је: 


Дакле, средња информација по слову азбуке једнака је средњој информацији слова поруке (неза- 
висно од п) и једнака је информацији извора. Отуда је дисперзија константа извора, тачније 


а ( )=а=а-< о 
1 , 

па = ' 6% — 0, када п — оо, те извор без меморије испуњава услове Марковљевог закона великих 
бројева, тј. 

И Рг (|, 0) — 5| > 2) = 0 

п—0оо 
за свако 2 > 0. Према томе 

рта) < Ррр(у) < ђ“76–), 


када п — со. То значи да сваки низ Х можемо раставити на два дела (комутација скуповног пресе- 
ка) да је х = (Ху, Х1), па је: 


Рг(Х) = Рг()) Рг (Х1) – због независности, 
Рг(Х0) = 0, Рг(Х1) = да, 


Тиме је језик растављен на два подскупа А, и Ај. Укупан број речи у Ај, опет због независности и 
због У хед, Рг(Х%) = 1 је Мо(А,,п) = ђ">, где је ђ > 1 база логаритма у изразу за информацију. Кад 
су сва слова једнако вероватна, тада је информација највећа 5 = 105 !, па Мо(А),п) = !". То је 
укупни број комбинација дужине п од ! слова и у том случају А, је празан скуп. 
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82.3. Марковљев ланац 
Видели смо да је информација стационарног Марковљевог извора 


| 1 
= -У > в "Ру '1обруј- 
ја јЕ1 


Она се своди на претходни случај када је р;) = Рг(е|е, ) = Рг(е)) = р;, тј. када су ха, х, Хз, -. међу 
собно независни. Полазећи од условних вероватноћа имамо: 


РЕ(Обрану у Је == РЕЧЕ РИС ај Чек рано 
п 
ЦХ) = 4 Рг(х) = 4 Р - јоБР 
Х) = — | "ТОБРг(х) = – –' 105 гба) – - » оБРг(Х |Х; 1). 
[= 
Отуда: 


п 
1 1 
ЕТ, = Е“ Е ЛовРг(Х1) — –У :з Е Лов Рт (х |Х;-1) = 
1=2 


А Сљ и 53 овруу =5 
= Х1 Е 2 |“ рју'!обрј =>. 
1]= 


Дакле, средња информација поруке је 5. Да бисмо избегли доказивање да Г, — 5, приметимо да 
низ случајних променљивих Рг (ху), Рг (х, |Х1), ..., Рг (Х, |Хи—1) узима вредности из коначног скупа 
од ((! + 1) елемената. Због стационарности ланца х-ова за п — со је низ ових вероватноћа извор 
без меморије. Према томе је и низ информација ((х, ), (х; |Х1), ... Су |Х 1) извор без меморије. 
Отуда закон великих бројева 


Јтп Рг (1, —5|>Е)=0 
за свако 2 > 0, где је 
1 
ћ, = = Пба) + 102 |х1) + + + а = 


Даље растављање на скупове А) и А) је исто као у претходном случају. 
0 1 ЈУ 
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83. Крипто код 

Грубо речено, кодирање је намерна трансформација извора у облик из којег је могуће опет доби- 
ти тачан полазни податак. Према томе, путујући кроз канал преноса код може стећи сметње које 

смо раније описивали, тако да грешке пријема неће бити грешке (дејкодирања. Такав пренос по- 
датака је шематски приказан на следећој слици и тема је наставка текста. 


сметње 


| 


Дакле, занемарујемо грешке оператера који раде на кодирању и декодирању које би било могуће 
учинити без грешака, ако би (кодирана) порука стизала без сметњи, и бавимо се само пригушеном 
информацијом насталом таквом лажирањем, привидним дезинформисањем, односно лагањем са 
намером обмане неовлаштеног читаоца, или његовог ометања. 


Пример 1. Децимале броја пл = 3,14159265359 ... када их први пут читамо изгледају као случајни 
бројеви. Оне ће проћи све тестове случајности математичке теорије вероватноће, а то сазнање је 
један од темеља моје (хипојтезе о објективној случајности. 


Подсећам, насумичност се заснива на немогућности поседовања свог знања одједном, било кога 

јединог субјекта, због чега ми комуницирамо. Због начелног минимализма (тежње ка мањој), инф- 
ормација послата од пошиљаоца прима се код примаоца због тог мањка. Она је на тај начин и сло- 
јевита, па можемо учити, стицати знање, тј. информације. Са друге стране, нека информација увек 
је од неких скривена, па су могуће обмане, рецимо ловца који свој плен лови клопком. Због истог, 
или боље речено доследно поставкама ове теорије информације, сама васиона нека је неизвесно- 
ст и према својој унутрашњости и према спољашњости. Ово друго подразумева да ма како велику 


васиону успели сагледати, замислити, то неће бити све што постоји. [01 


Као и број п, децимале сваког ирационалног броја у првом читању изгледаће нам као „доказиво“ 
случајан низ бројева. Међутим, у сваком следећем читању истог броја приметићемо „превару“, тј. 
могућност да случајни бројеви за једног субјекта (нас у првом читању) нису случајни за неког дру- 
гог субјекта (истих нас у другом читању). Овај смисао „објективне случајности“ експлоатисаћемо 
даље у тумачењу кодирања. 


Претпостављамо и даље да имамо азбуку 1 = (е1,6;,...,6, | од ! = 2,3, ... слова и извор података 
Хо, Ха, Х2, ·. такав да је свако х; 6 А. Међутим дефинишемо и помоћну азбуку пл = (л4,л,...,1,) 
одт = 2,3, ... слова која опет, може произвести низ у, Ул, у, ·.. такав да је свако у; Е л. Нај опш- 
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ЈЕ Ер АИ ан 


коју зовемо „кбд“ ако постоји поступак да се из низа у; поново добије низ х;. Обратни поступак се 
назива „декод“. 


Пример 2. Најједноставнији случај кодирања је т = п = 1, ! = г. Тада је функција кода задата са т 
једнакости Ј (е;) = пл), редом за ;,] = 1,2, ..., !, или прегледније пресортирано 


ј = (8 ђ с 5) 


и у“ 


Горње слово азбуке 1 кодира се у доње слово азбуке пл, а функција Ј је бијекција. Ако је кодиран 


низ гџмугу/у/и ... његов декод, оригинални низ био је ђассса .... [0 


Наведени пример може бити користан једино дидактички. Са становишта брзине или сметњи тај 
тешко да може побољшати пренос података, а 
са становишта тајности података он је наиван. 
Али треба знати да се и најбољи крипто кодови 
(грч. "Кгтрћаб – скривам, покривам) проваљују и 
да ће сваки важан податак бити дешифрован, 
само ако провалник има довољно времена. 
Ради тога је основни циљ криптографије (тајног 
писања) да време декодирања неовлаштеној 
особи учини што дужим, а да при томе 
овлаштеној особи декодирање не огорча 
живот. 


Мало проширена метода овог примера је Цезарова шифра. То и јесте један од најпростијих и нај 
распрострањенијих начина кодирања, а врши се замењивањем сваког слова отвореног текста са 
одговарајућим словом друге азбуке. Тим дословним преписивањем датих слова неким другима, 
фреквенција првих у изворном тексту постаје неизмењена фреквенција у мењаном тексту. Како пад 
информације текста у односу на равномерну насумичност слова остаје сачуван, прикривање се 
лакше разоткрива. Слова фреквенције кодираног текста заменимо словима исте или најближе 
фреквенције изворне азбуке и направили смо велики корак у откривању поруке. 


83.1. Вижнерова шифра 

Много сложенија и боља метода шифровања од Цезарове је Вижнерова. Она се добија серијом 
замена Цезаровог шифрирања заснованих на словима кључа. У делу ове скрипте [61.3.] обрадио 
сам фреквенцију слова тајног текста са налазима који би овде могли бити корисни. Вижнеровим 
кодирањем подиже се информација, дакле смањује разлика информације датог кода и равномерно 
случајно нанизаних слова, што неовлаштеног читаоца додатно збуњује. Могућност дешифровања 
тада наликује могућности погађања децимала броја пл, када смо број упознали. Псеудо случајност 
познаваоц преокреће у извесност. 


У поменутом поднаслову [61.3. Вижнерова шифра] кодирање је помоћу “Мрепеге зчјапдага соде", 
програма којег сам радио директно на интернет страници у рћр-у. Међутим, следећи два модула, 
или функције, су програми који раде то исто у језику “Рућћоп 3.9.7". Рецимо текст “Копј рогоба зуе 
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2 дгака.", са кључем "ропедеј јак", први од наведених модула "мвстрћ()" кодира (Епсгурпоп, епсо- 
де) у “ ХСАМ 55КХВК НЈЕ МС НКЈКК.,". Проверите! 


деј маслрћ(): 
карија = "АВСРЕКОНТЈКЉОММОРОВЕБТОМИХУ 2" 
рк1пЕ ("Уаадепеке Слрћек, сод1па") 
ре1пЕ (Барија) 
рокика1 = при ("РјЈајпћехЕ: ") 

К]јис1 = 1при("Кеу: ") 

К]јис = К1јис1.мррек() 

рокичка = рокика1.иррек() 

п = Јеп(рокцка) 

К]1јис2 = '' 


хићаје Јеп(Кк1јис2) < п: 
К1јис2а = Кајис2 + К1јис 
кари]ја = барџја + ЕБарџја 


рокика2 = '' 
1 = 0 
Кок х 1п рокџика: 
х2 = х 
ЛЕ 5габџја. Епа (х) > -1: 
х1 = К1јис2[1] 
11 = кБабџја. Елпа (х1) 
12 = кБабџја. Елпа (х) 
ЈЕ (11 != 1) апа (12 != -1): 
х2 = гарџја[11+12] 
1 =1 + 1 


рокика2 = рокика2 + хг 


рке1аплЕ(" РЈајпЕехЕ: ", рокика1) 
резпЕ(" Кеу: ", К]јис1) 
ре1плЕ ("СјрћеквехЕ: ", рокика2) 


Други од наведених модула “стрћма()“ декодира (Ресгурпоп, десоде), враћа претходни код текста 
“гсап з5КкхбК Ајг гпс АКЈКК.“, у почетни “"КОМЈ РОДОВА 5МЕ 12 рХАКА.", са истим кључем “ропедејак". 
Пожељно је да тачност ових програма проверите на другим местима. 


де слрћид (): 
карија = "АВСРЕКОНТЈКЉОММОРОВЕБТОМИХУ 2" 
рктплЕ ("Улдепеке Слрћек, адесод1па") 
ре1п (Барија) 
рокика1 = 1прџћ("СлрћеквехЕ: ") 
К]јис1 = 1при("Кеу: ") 
К]јис = К1јис1.иррек() 
рокика = рокика1.иррес() 


22 Мвепеге Тоој, ћЕр5:// мм бохетта.сот/соде-бгеак р/мрепеге-атрћег 
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п = Јеп(рокцка) 
КлјисЕ = '"' 


хићаје Јеп(к1јис2) < п: 
К]јис2 = К1јис2а + Кајис 
карџи]ја = барџја + ЕБабџја 


рокика2 = '' 
1 = 0 
Кок х 1п рокџика: 
х2 = х 
ЛЕ 5габџја. Епа (х) > -1: 
х1 = К1јис2[1] 
11 = кБабџја. Елпа (х1) 
12 = ЕБарбџја. Елпа (х) 
ДЕ (11 != 1) апа (12 != -1): 


х2 = гарџја[12-11] 
1 = 1 + 1 
рокика2 = рокика2 + хг 


ре1плЕ ("СјрћеквехЕ: ", рокика1) 
ркјлЕ(" Кеу: ", К1јис1) 
ре1лплЕ(" РЈајпЕехЕ: ", рокика2) 


83.2. Скривање бројевима 


Следећи пример је још једне занимљиве и познате методе шифровања, која слова замењује бро- 
јевима. Табела је (први) кључ који за своје потребе можете по потреби мењати. 


5 2 9 4 1 6 8 Е; 0 7 

| | О К Џ Х 

2 А С Е б Ј М Р 5 М у 
9 В р Е Н К М а Т МУ 2 
5 0 1 2 Е; 4 5 6 7 8 9 


У овом случају, реч “КА|РТО“" постаје број “913128938" који има јединствен декод. Добијени низ 
бројева даље сабирамо по модулу са случајним низом бројева (други кључ). Једноставнији од 
случајних низова су бинарни, нпр. 010011110..., па добијамо 923139048. Познајући случајни низ, 
операцију и полазну табелу можемо декодирати поруку. 


Пример 3. Ево како би (Рућћоп 3.9.7) изгледао програм за ово кодирање (сакривање). 


де заккг1ј(): 


# агрика 

гјома = [РА  "УВЕ, УОСТ НО НЕ НЕ НО ЕД НА ЛК ВЕЋ, УМЕ 
МУ О ДЕНА О КОКА АЕ ДИН МР И ЛО МАР ЕУ 

ктјис = 1725", "957. "ла", 927, "2999, 24 ОДА ЛР ЋАО, 


567, "26", 967", "8", 28", 987","3","23%,"98", "0, "207, "905, "77, "27", "97" 1 
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к1јис2г = "010011110" 
ре1пЕ ("Содлпа Бу пџиптрек5") 
рокика1 = 1прџЕ("РЈајпћехЕ: ") 


рокцика = рокџчка1.џррехк () 
рке1пЕ ("Оркад1Е1:", рокцка) 


# рку1 К1јив 


1а5ва = [] 

Кок 1,х 1п епџптекае(рокика) : 
ЈИ У 
ЛЕ х 1п 51ома: 


ј = з1ома.1падех (х) 
у = кајис1[] 
115ва. аррепа (у) 
сопЕјпџе 
рокика2 = ''.јолп (115 ћа) 
ре1алЕ("1. К1јис:", рокцка2) 


# акца1 К1јчв 


п = Јеп(рокцка2) 
Кјјис = К]јис2 
т = Јеп(к1јис) 


бе т < п: 
К1јис = Кјлјис + Кајис2 
т = Јеп(Кк1јис) 
ре1аплЕ(" + саЕке:", К]јцис) 
рокичка = '' 
Кок 1,х 1п епџтекае(рокика2): 
ТЕ сап 115(х): 
У1 = 1пЕ(х) 


7 = 5Ек(у) 
= = 2[-1] 
е1зе: г = ' ' 
рокцка = рокика + 2 
сопЕјпџе 
рк1алЕ("2. К1јис:", рокцка) 


ке иџикп 


за тестирање да ли текст (51 п) представља цели број (ТЕ) користим следећу функцију. 


де сап 115(5ЕК1пд): 
Еву: 
1п (зЕк1пад) 
кефикп Ткџе 
ехсерЕ МајчеЕкког: 
ке цкп Ка15зе 
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Ево једног примера покретања овог програма и екстремног текста, ради тестирања. 


тоди1.закктј() 

Содлпа Бу питрек5 

РЛлапЕехЕ: Семарб161 5џ ч бибпјаклта! 
Оркад1: 1: СЕМАРСТСТ 50 0 505МЈАЕЈТМА! 

1. Клјис: С292025280101 230 0 505962125312625! 
+ саЕке: 010011110010011110010011110010011110 
2. К1јас: 39213638 2 1 341 0 0 073126313736 


Слова унешене поруке која не припадају дефинисаној „азбуци“ преписују се таква каква су, због 
наредбеу = х,али ако ту наребу замените са у = '' тог преноса неће бити. [Д 


Пример 4. Овако би изгледао програм за претходно декодирање (откривање). 


деј оЕКкк1ј(): 
# агрика 
гјома = ПАРАНА ЈИ о УДАРЕ 264 ЛАА ОВ ЛИН И та РЕКА 00 СРЕО ИЕ У ТУ ЈИ о БАВИ ЈН 5 РЕС РОЈЕ ЗАИ ЕС РОГ ЈА ЈЕ 


а о РРА РА о АОРТЕ а ЈАР ТО РОСА ЈА СРЕО 4 РЕЉА РОЈ И 
кајиса = ['25","95', 5 22%,"92%,"29% 799", 241), 794: "1", 21", 92К 
Коби 2 967 На РОВ АКУВЊА ЗА 23, УЗ, РОА РО" У А РА ЕН 97] 
клјис2г = "010011110" 
ре1пЕ ("Содлпа бБу пџшптрек5") 


рокика2 = 1пршЕ("Содеа ЕехЕ: ") 
ре1апЕ("Џпећо је:", рокцка2) 


# акцад1 К1јчв 
п = Јеп(рокцка2) 
Кјјис = К]јис2 
т = Јеп(к1јис) 


јис = Клјис + К]јис2 
Теп(К1јис) 
ре1аплЕ(" одцхећ1:", К]јис) 
рокичка = '' 
Кок 1,х 1п епџтекае(рокика2): 
ТЕ сап 115(х): 
У! = лпЕ(х) + 10 
у2 = лпЕ(Кк]јис[1]) 
у= у - уг 
зЕк (у) 
= 21[-]1] 
е15зе: 2 = ' ' 
рокцка = рокцка + 2 
сопЕјпџе 
ре1плЕ ("ВехцјЕа :", рокцка) 


мом 
|| 
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# ркуа К1јив 
Та5Еа = [] 
б = #4 
Кок х 1п рокика: 
ТЕ сап 115 (х): 
7 = 2 + х 
е156: 
115Ећа. аррепа (' .') 
ДЕ 2 1п К1јис] 
ј = К1јис1.1пдех (2) 
У = з1ома[ј] 
115ва. аррепа (у) 


7 = 
сопЕлпџе 
рокика1 = ''.јолп (115 ћа) 
ре1аплЕ(" Рокика:", рокиџка1) 


ке кп 


Тестирамо дешифровање (откривање) горњег кода: 


тоди].оЕКкк1ј () 

Содлпа Бу питрек5 

Содеа бехЕ: 39213638 2 1 341 0 0 073126313736 
Џпећо је: 39213638 2 1 341 0 0 073126313736 


одигећ1: 010011110010011110010011110010011110 
Вехц]Еа: 29202528 1 1230 0. 0 962125312625 
Рокика: .ЕМАР.1.1.50.0..0.МЈАКВЈМА. 


Ознаку тачке ("' . ') за код ван азбуке можете произвољно мењати. ![Д 


Пажљивим бирањем начина кодирања према садржају улазног текста може се веома уједначити 

расподела цифара излазне шифре. То када фреквентнија слова шифрујемо са дужим бројевима, а 
мање фреквентна њиховим појединим цифрама. Тако повећан „шум“ неовлаштени би пријемник 
могао видети као „безначајан сигнал“ и одустати од дешифровања. Са друге стране, преласком са 
једне азбуке (са ! = 26 слова) на другу (цифара са г = 10 слова) мења се распон опција и дужина 

кода (расте [/7 = 2,6 пута). Колико смањивањем кодне азбуке добијемо на тајности или тачности 
кода и преноса, толико изгубимо на повећању дужине текста. 


Пример 5. Размотримо опет исти мој текст „Феминизација“ из скрипте „Приче о информацији“, на 
енглеском, кориштен за израчунавање фреквенција слова [66.1. Енглески језик]. Тај текст: 


Ттосај апа Питокоџ5 1п а ркј“уаће соккезропдепсе млЕћ сол1еадчез Т чзеа 
Еће Еект ЕБепјпјхајоп Еок рћузлса1 ркосеззез Ећаћ алме џчр ОБ Еће 
оџЕ5јаде мок1ја. Гоок уочџк охп Ризјлпез5, апа доп'5 мокку Еок оћћек5... 


кодиран истим програмом 3. примера постаје текст: 


6922367 250693 05027839134 106 36 383220360429 
229443924289070220963330 9119405 2296630362412934 2 0332003 930420 
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0429426 00392719720825031907 9993 39052733133366 3839333924233034 
94943604 2512130 029 800 039529 91032419330 9093603 68991 38903 89107 
95123207392423 369602 03906 03 0194328 9094 8949430433... 


чију фреквенцију слова (цифара) затим налазимо. Текст има 12518 цифара са фреквенцијама: 


1. 3 2542 0,203 
2. 0 2132 0,170 
3. 9 2012 0,161 
4. 2 1818 0,145 
5. 41124 0,090 
6. 6 784 0,063 
71. 7 622 0,050 
8. 1 552 0,044 
9. 5 538 0,043 
10. 8 394 0,031 


Средња информација ове За и максималне такве 5') расподеле је: 
5, = – 0,203 102 0,203 – ·:· — 0,031 · ов; 0,031 = 2,961587 ... 
5" = –0,1 1022 0,1 –— ---— 0,1 -102 0,1 = 102, 10 = 3,321928... 


Релативно велика разлика 5) — 5; > 0,360 значи да скривени текст није значајно камуфлиран и са 
униформношћу расподеле слова. У тамошњем, изворном енглеском тексту [66.1], где је максимум 
информације 5) = 102; 26 = 4,700440 и овом, на шест децимала, коефицијенти шума су: 


5;  4,134927 5. _ 2,961587 


= === = 0. 879689. = - о вр--=-== =-0,89152 7 
57,  4,700440 | " 57 3,321928 


Дакле, у) < п' што значи да овај кдд ипак у некој мери чини камуфлажу голог текста. 0] 


Када немамо бољи начин за добијање случајних низова (они генерисани рачунаром непоуздани 
су), користимо рекурентну релацију 


Упаа = (а · у, + 5) тоа т, 


редом за п = 0,1,2,..., где су а, ђ, т природни бројеви. Дефинишемолиа = 2 Њ = Зит = 5, ако 
је у = 0, добићемо у, = Злу; = 4, уз = ј, у, = 0, уг = 3,... низ је даље периодичан. Рецимо, кад 
у, = 2 добијамо свако у, = 2. Уопште, за свако су а, ђ, т и у), добијени низови су периодични са 
периодом не дужом од т. 


Наведени пример схваћен као концепт са мало маште може се скоро неограничено проширивати. 
Следећи пример демонстрира једноставну употребу једне „заборављене“ азбуке која је згодна за 
скривање слова горње табеле, након чега можемо наставити кодирање (други кључ). Она чешћим 
словима даје краће кодове, што је „нелогично“ са становишта сакривања поруке, али је практично 
са становишта повећања капацитета преноса канала. 


Пример 6. Заменимо „тачку“ са 0 и „црту“ са 1 Морзеове азбуке и добијамо: 
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А 01, В 1000, С 1010, 0 100, Е 0, 2 0010, 6 110, н 0000, 100, Ј 01171, К 101, 1 0100, М 11, М 10, О 111, 
Р 0110, О 1101, К 010, 5 000, Т 1, 0 001, М 0001, МУ, 011, Х 1001, У 1011, 2 1100 


Ове замене користимо уместо горње табеле (први кључ), а затим наставимо као у том примеру. 
Резултат је код који познаваоц може декодирати. Када га обрадимо програмима 5. примера, исти 
енглески текст постаје низ: 


02002222011011211 0210211 001001222112011222002001 1110 01 
1220020011111 0210 2120121021120010012211121021111020111 1111011111 
11102221101011111 11200121100 00 1120010111 200100 2111021 
1121012002111111 00221111210 1120121021 

са укупно 18140 знакова (цифара 0, 1, или 2)фреквенција: 


1. 1 9426 0,519 
2. 0 4778 0,263 
3: 2 3936. 0,217 


Средња информација ове 5, и максималне овакве 5) расподеле је: 
5"у = – 0,519 ·105; 0,519 — 0,263 · 102; 0,263 — 0,217 · 105; 0,217 ~ 1,476159 


О = а – 1 - и = 3 ~ 1,584962 
зет 0523 ЕТ 0525 3 0525 — 062 ~ 1, 


Релативна разлика 5") — 5" = 0.109 око 3,3 пута мања је од претходне, а отприлике толико пута је 
овај код дужи од претходног колики је и однос (10 : 3) броја цифара њихових заменских азбука. 
Међутим, однос дужина текстова два примера 18140 : 12518 = 1,449... показује да се Морзеовом 
заменом добија текст краћи него што би требао бити, што указује на већи капацитет таквог канала. 


Захваљујући подређивању Морзеовог кода фреквенцији слова енглеског алфабета, он пребацује 
више интересантног текста по броју сигнала. Мања му је специфична информација (5",, < 5',), али 
са друге стране, коефицијенти шума оригиналног, претходног и овог кода: 


1476159 


= ——=—— = 0,931353 
1,584962 


п = 0,879689 п' = 0,891527 п" 


у растућем су поретку 7 < 1' < ђ“. Кодирање и смањивање азбуке маскирају текст. [0 


Саме бројеве (други кључ) скривамо често помоћу прим-бројева (2, 3, 5, 7, 9, 11, 13, 17, 19, 23, ...). 
На пример, број 4596 израчунамо у број 27 · 39 · 53 · 76 = 893397093750000 који се може једин- 
ствено реконструисати растављањем на факторе у низ простих бројева. Замислите како овај посао 
може бити тежак неовлаштеном лицу ако низ простих бројева почиње негде у наставку, са веома 
великим бројевима. Растављање на факторе крајње великих бројева није лак посао ни најбољим 
рачунарима. 


Пример 7. Следећи кораци чине један од ефикаснијих алгоритама за налажење простих бројева 
датог броја п. 


1) Док год је п дељиво са 2, пишите 2 и делите п са 2. 
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2) После корака 1, п мора бити непарно. Тада започните петљу са индексом од ! = 3 па до 
квадратног корена од п. Док год : дели п допишите !: и поделите п. са ;. Након што п није 
више дељиво са иначе растућим индексом !, повећајте ! за још 2 и наставите. 

3) Ако је п прост број и већи је од 2, онда п неће постати 1 у претходна два корака. Дакле, 
одштампајте п ако је већи од 2. 


Сваки сложени број има најмање један прост фактор мањи или једнак квадратном корену самог 
себе (тврдња корака 2). Наиме, нека је а · ђ = п. Ако су оба фактора већа од /лп, онда је а -ђ > п, 
што је контрадикција са полазном претпоставком. Ево једног од програма који то ради. 


аеЕ ЕасЕок(п = 1): 
ДЕ по 1а1пзабапсе(п, 115): 
рејплЕ ("Ркткодп1 Ркој2") 


ке цикп 

ДЕ ле Је 
реп ("ЏпезаЕће рог1Е1мап сео РБкој!") 
ке икп 

ркој =п 

115 ва = |] 


хућје Ркој % 2 == 0: 
) 


ркој = РБкој// 
1трокЕ таћћ 
т = 1пЕ(тајћ. зак  (Окој)) 
Кок х 1п капде(3, п, 2): 
ићје Ркој %+ х == 0 
115ва.аррепа (х) 
ркој = Ркој // х 
11з5ба.аррепа (Ркој) 
кећикп 115 ба 


Модул тестирам различитим уносима. 


поди1. Еаскок (69643379) 
[13 23, 19. 23, 23, #41; 11 


Према томе 69643379 = 132 · 19 · 232 · 41 · 1, проверите! 


83.3. Метода остатка 

Кинеска теорема о остатку каже да ако неко познаје остатке еуклидског дељења целог броја п. са 
неколико целих бројева, онда се може јединствено одредити остатак дељења п производом ових 
целих бројева, под условом да су делиоци узајамно прости (било која два немају заједничких 
фактора осим јединице). Применићемо то у кодирању (другог кључа). 


Означимо са х, ':: х, низ који треба кодирати, са у, ::: у, низ случајних бројева, а са р, ::: ру низ 
узајамно простих бројева. Ознака у||х је за операцију уланчавања (дописивања, надовезивања). 


Уланчавање обављамо у бинарном систему, тако да је нпр. 
3||1 = (011), ||(01); = (01101), = 13, 
Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


а нека је р, = 14 први већи број од добијеног 13 (узајамно прост са осталим р1). Означавамо даље 
производе: 


4 = Р1''Вео = “ Фу = “ 
== Ра 5 , 105 )уссеу а пати | 
| Р1 " Рт 
док је 2; решење једначине 4; · 2; = 1 (тод 4). Коначно, кдд :-тог поља је К; = д; ' 2;, а интегрални 
код низа од п слова је збир 


с= У ко бук) бпоа). 
:=1 


Познајући кдд С оригинални текст добијамо лакше због у; ||х; = С (тоа р;). 


Пример 8. Кодирамо реч “15", односно “123" горње табеле (први кључ). Нека је низ случајних 
бројева у = 341. Тада је: 


з 1 = 01101, = 13 < 14 = 71 
4112 = 10010, = 18 < 19 = >, 
113 = 00111, =7 <9 = рз 
Отуда а = 14 · 19 - 9 = 2394, а, = 19: 9 = 171, ф, = 14 -9 = 126, дз = 14 · 19 = 266, па: 
171:2, = 1 (тод14)— 2, =5 
126 : 2; = 1 (тод19)— 2, =8 
266 · 24 = 1 (тод9)— 2, =2 
Коначно К, = 171:5 = 855, К, = 126: 8 = 1008, Ка = 266 · 2 = 532, па је: 


3 
с= У к- (у) бпод а) = 
1=1 


= (855 · 13 + 1008 · 18 + 532 · 7) (тоа 2394) 
= 32983 тоа 2394 = 1861, 
тј. код је С = 1861. Декодирањем добијамо: 
1861 тод 14 = 13 = 3||1 > 1 
1861 тод 19 = 18 = 4112 — 2 
1861 тпод9 = 7 = 1||3 > 3 


па је полазни низ х = 123, којем одговара реч “15" табеле. [ 
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84. Потпуност 

Азбука је „потпуна“ ако садржи сва слова која су нам у тексту потребна. Тако је А5СП (Атепсап 
згапдага Соде Тог |тогта оп |птегсћапге) табела потпуна ако користите само знакове (црвено) 
представљене у десним колонама следеће слике. У левим колонама су њихови кодови. 


о 0 000 мл (пи11) 40 100 <#54; 96 60 140 <#96; 
1 1 001 50Н (зкакђ о ћеадјпу) 41 101 <#65; 97 61 141 <#97; 
2 2 002 5ТХ (збакђ ОБ бехђ) 42 102 <#66; 98 62 142 <#98; 
3 3 003 ЕТХ (епа о сехђ) # 67 43 103 <#67; 99 63 143 <#99; 
4 4004 Е0Т (епа об скапзијаз1оп) 5 68 44 104 <#68; 100 64 144 <#100; 
5 5 005 ЕМО (епацјку) 5 69 45 105 <#69; Е |101 65 145 <#101; 
65 56 006 АСЕ (аскпомједце) КУ 70 46 106 <#70; 102 66 146 <#102; 
7 7007 ВЕ; (ђе11) ! 71 47 107 <#71; 103 67 147 =#103; 
8 8 01085 (расЕзрасе) ( 72 48 110 <#72; 104 68 150 <#104; 
9 9011 ТАВ (ћок1хопсај сар) ) 73 49 111 <#73; 105 69 151 <#105; 
10 А 012 ЉЕ (КМ, Ј1апе Ееед, пеџ Јапејј| 42 2А 052 <#42; " 74 ДА 112 <#74; 106 БА 152 <#106; 
11 В О13 УТ (хекфлсај сађ) 43 28 053 <#43; + 75 48 113 <#75; 107 68 153 6#107; 
12 (С 014 КЕ (МР Еокш Ееед, пеџ раце) Р 76 40 114 <#76; 108 60 154 <#108; 
13 Рр 015 СЕ (саккјаце кетуки) = 77 40 115 <#77; 109 бр 155 <#109; 
14 Е 016 50 (зЕзЕ5 оџ5) 
15 Е 017 51 (зјЕ5 Јп) 79 4Е 117 #79; 111 БЕ 157 68111; 


16 10 020 ГрЉЕ (дађа Ј1пК езсаре) 

17 11 021 РС] (деулсе сопекој 1) 

18 12 022 2002 (дЧеулсе сопској 2) 

19 13 023 РрСз (деу1лсе сопекој 3) 

20 14 024 204 (дехулсе сопфкој 4) 

21 15 025 МАК (пеџај“е аскпомједце) 
22 15 026 578 (зупсћкопоцз 1912) 

23 17 027 ЕТВ (епа оЕ скапз. БЈосК) 
24 18 030 САМ (сапсе1) 

25 19 031 ЕМ (епд о мед ш) 

26 ЈА 032 508 (зибаеамђе) 

27 18 033 ЕзС (езсаре) 

28 10 034 Ез (Е1је зеракакок) 

29 18). 035 65  (дкоцр зеракаћок) 

30 ЈЕ 036 ЕЗ о (кесока зеракаћок) 

31 ЈЕ 037 05 (мпзђ зеракаћок) 
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ССВАН РЗЕМ 


# _ |127 ТЕ 177 6#127; РЕГ 
Зоџгсе: миљу. оокирТаћ!е2 .сот 


У првој левој колони стоји децимални код слова десно, у другој колони је хексадецимални код, у 
трећој ћшт!. На пример (65 41 101 2:#65; А), ако на рачунару држите типку А! и при томе утипкате 
број 65, након пуштања прве типке (А -65) на екрану ће се појавити слово А. Свако велико и мало 
слово енглеског језика је у тој табели, као и цифре или неки типографски знаци често потребни. 


Међутим, у горњој табели нема многих слова других језика, или рецимо знака „пуног квадратића“ 
који је ознака за крај доказа теореме. За неке такве постоји Продужена А5СП табела, приказана на 
следећој слици са словима (црвено) и децималним кодовима (црно). На пример, куцајте АН-147 и 
приказаће се слово 6, дугосилазно акцентовано у српској речи код. 


За куцање српских слова, латиничних д, С, С, 5, 2 и скоро свих ћириличних, обе те две табеле неће 
бити довољне. Као што знамо, за такве су смишљане тзв. кодне стране (Соде Раве), од којих је на 
персоналним рачунарима основна РСАЗ7, а касније још пуно других за разне језике. Тако постоје 
[ап] (150-8859-1) за латинична писма Западне Европе (Француска, Немачка, Шпанија, ...), затим 
[ашп2 (150-8859-2) и М/лпаом/5-1250 за латинична писма Источне Европе (српска латиница и друге), 
потом 150-8859-5, КО!8-К и М/пдом5-1251 за ћирилицу. Да би се смањили проблеми настали код 


мешовитих текстова, уведен је Јуникод (Итсоде), рецимо ЏТЕ-8 варијанте. 
Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


| :0 144 _Е 160 4 — 176 192. 208 + 224 «у, 240 = 
1298 146 = 16104 177 193 + 290 = 225 8 241 + 
1306 16 # 162 8 178 194 210 у 26 г 22 > 
31а 1476 163 5 179 195 | 21 52277 1 243 < 
1322 а 148 6 — 164 А — 180 196 — 22 = 285 жГ 
133 а 19 6 16 Но 141 197 + 213 Б 29 со 24 
13408 150 8 166 > 122 198 Е 24 г 280 р 26 - 
135 6 1 о 167 1833. 1 199 | 215 + 231 7 247 = 
136 6 152 У 168 ; 184 = 2005 216 + 22 Ф 248 • 
1375 153 0, 16 ~ 5 4 21: р 217 Ј 23 0 24 

138 #1554 Џ 170 –— 16 | 22 18 р 234 а 20. 
191 55 «пољ 587.1 203 ф 19 0255 5 251 4 
1403 16 Е 172 188 3 204 | 220 26 о 252 ~ 
4 а 0157 173. | 189 3 205 = 221 | 2376 253 = 
142 А 18 в 174 « 190 Ј 206 #22 | 238 2 24 и 
43 А 1597 175 » 191 | 207 = 223 29 А 255 


Зоџгсе: илљу. оокиртТаћ!е2 .сот 


То је први аспект појма „потпуности“ који нас занима. Огољена употреба азбука у комуникацији. А 
затим и проблеми са њиховом бројем, опширношћу и међусобним искључивањем, са навођењем 
нас да текстове пишемо истим писмом. Друга особина појма „потпуности“ тако нас слабо занима 
да је једва примећујемо и тешко ју је укратко објаснити, али вреди покушати. 


Други аспект теме „потпуности“ је у самој суштини скривања, кодирања. Претпоставимо да нама 
примарна азбука 4 = (41, ..., 4) буде некоме наша секундарна заменска 8 = (5), ...,Ђ,), држећи 
се претходног о кодирању. Бијекција текстова писаних са те две гарантује њихову еквивалентност. 
Да разумемо о чему говорим приметимо да кућни љубимац пас и мачка виде мање и слабије боје. 
Уопште, знамо за различите животиње које различито виде зраке светлости, боје спектра електро 
магнетног зрачења, а корак одатле је разумевање релативности примарних и секундарних азбука 
комуникација. 


Кодиран и маскиран текст једном „читаоцу“ (субјекту интеракција), бар теоријски, можемо писати 

примарном азбуком неком другом. То прво зато што „разумевање“ поруке једном субјекту (атому, 
телу, особи) не мора то бити и неком другом. На пример, неутрони не реагују на „поруке“ електро 
магнетних поља као наелектрисани електрони и протони, рећи ћемо хипотетички, јер не разумеју 

језик наелектрисања. То је сасвим природна (хипојтеза ове „теорије информације“. 


У том смислу теорија кодирања неће бити грана теорије информације, већ ће бити обрнуто, њена 
надградња. Погледајмо то на покушају интерпретације претходних преноса расподела каналима. 


Наиме, када горе поменуто кодирање Х : 4 — В пишемо матрично ђ = Ка, приметићемо да то 
некада има а некада нема смисла, иако постоји процес кодирања (вештачки или природни). 


Рецимо да су слова енглеског алфабета управо А5СП децимални бројеви од 65 до 90, а кодирање 
дато табелом коју смо горе [83.2. Скривање бројевима] назвали првим кључем. То матрично је 
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Ба РАНИ РРА УДК 
Ву |_ у ". : 42 
: = + : = ||| 
( К .. К 
26,1 26,26 
56 426 


где су бројеви а, = 65, а; = 66, ..., 456 = 90 кодови редом великих слова енглеског алфабета, а 
компоненте ђ,; = 25, ђ, = 95, .., бб = 97 њихови крипто кодови. Познајући коефицијенте матр- 
ице К = [| познајемо начин кодирања. Овако дефинисан процес крипто заштите може бити 
непрактичан, али није немогућ. Међутим, већ у следећи примерима тог наслова ова метода би 
запела. Не би било довољно ни увођење нелинеарних трансформација кодова, за сада још увек не 
прихватљиво у квантној физици. Зато ову идеју остављам „на чекању“. 


84.1 Константне дужине 

Ако азбука садржи 256 карактера тада је дужина кода једног карактера [02 256 = 8 бита једнаких 
дужина кодова. Одлучимо ли се за краћу азбуку од 128 карактера дужина једног кода биће 7 бита. 
Уопште смањимо ли неопходних слова два пута смањићемо трошење меморије за по један бит по 
слову оригинала, односно убрзати пренос за један бит. При томе је основно питање која од слова 
табеле задржати. 


Дефиниција 1. Нека је 7" скуп свих речи дужине т. изворног језика и нека је А"" скуп свих речи 
дужине т. које се могу описати азбуком А = [а1, ..., ду). Тада се вероватноћа: 


Ра РРХЕА") = Р(АЋЈ, Хе" 
зове ниво потпуности или потпуност (и поузданост) дате азбуке за низове константне дужине т. 


Дакле, када бирамо азбуку А слова потребних високо вероватним речима језика 7"" добићемо 
потпуност блиску јединици, па ћемо ретко бити у ситуацији да немамо слова за запис потребне 
речи. У рачунарској инсталацији је дужина кодиране речи извора т = 1, тј. једно слово, док је 
дужина кодне замене п = 7, за табелу од 128 слова. 


Означимо ли са ХК" скуп свих кодираних речи дужине п тада вероватноћу Р(К") зовемо потпуно- 
ст датог кода. Како је број свих речи дужине т над азбуком «1 једнак [", а број свих речи дужине п 
над азбуком ВЗ једнак 7", тада је услов 


| ари 


потребан и двољан да је потпуност кода једнака потпуности азбуке. Ако је ['" < т" онда је могуће 
кодирати више речи него што је потребно за азбуку 44, па је опет Р(А"") = Р(К") јер вишак кодн- 
их замена нема смисла декодирати. Обрнуто, ["" > т" значи да Р(А"") > Р(К"), тј. код има мању 
потпуност. 


Без губитка општости можемо претпоставити да је потпуност основне азбуке један. У том случају 
можемо рећи да је ["' < 7" потребан и довољан услов да буде Р(") = 1. Отуда 

т Лопт 

т  1овт 

п _ 1081 
ако и само ако Р(К") = 1. Ту је п/т број кодних симбола потребан за емитовање једног слова 
оригиналног извора података. Реципрочна вредност т,/п је брзина преноса кода по слову извора. 
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84.2. Ергодичност 
Са друге стране, када је извор х1, х,, ... ергодички, могуће је изабрати за функцију кода (/) бијекц- 
ију такву да је потпуност кода, за произвољно г > 0 једнака: 


рт = Р(А") = Рг (лук) – 51 < 2), 


где је х подниз дужине т. извора са информацијом 5 > 0. Знамо да је 1, (%) просечна информа- 
ција једног слова подниза Х. Због асимптотске дељивости (енг. АЕР) ергодичког извора, тада је 


Пт ру = 11 


тћ—0оо 


5 Из истог разлога је тада А'" = (Х : || (2) — 51 < 2) високо вероватан подскуп језика ,"". Из дефи- 
ниције информације | „ (у) добијамо: 


–т (5 + 2) < 102) Р(Х) < –т · (5 – 2), 

2“—т(5%е) < Р(Х) < 2—7т(5—). 
Ако скуп А"" има М елемената биће: 

Мед точе) :з Р(Х) < 1, 

ХЕАТ 
М < 27105) < 7", 

јер је '" < т". То је довољан услов да постоји инјекција 

ју о а] > (У еј] 
Довољан услов за егзистенцију кода (]) потпуности ру за дати ергодични извор података је тада 


п 5-Е 5 

= ТовГ | 
Дакле, повећавањем броја кодних симбола по једном слову оригинала, тј. за велико т је увек мо- 
гуће конструисати кдд са поузданошћу близу један и са брзином преноса (т1/т) близу 108 ! /5. 06- 
ратно, ако је 


п 5—2Е 
= , 
т 1081! 


за произвољно мало 2 > 0, тада је за велико т потпуност кода произвољно блиска нули. Наиме, 
чак и ако је то високо вероватан подскуп речи, из: 


плов! < т (5 – 22) <> 1" < 27105–2:) 


бидимо да број елемената скупа ХК" није већи од 27522) џи да вероватноћа сваког појединачног 
елемента не прелази: 


271(5–2Е) 5 2—7т(5—2) =>2-те 0 


, 


када т — со. 
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Закључујући, можемо рећи да је услов (“), уз т. — со и ергодичност извора потребан и довољан за 
постојање поузданог кода, тј. таквог кода који са вероватноћом један може имати управо ону реч 
која нам је потребна. Међутим, закони великих бројева о којима се ради не важе за мале бројеве 
т. То је један од најважнијих разлога због којих се уводе кодови са променљивом дужином код- 
них замена. 


84.3. Јединственост 

Кодови са сталном дужином кодних замена, које смо управо расправљали, веома успоравају пре- 
нос података и непотпуни су. То превазилазимо помоћу брзих процесора и алтернативним азбук- 
ама, односно брзим меморијама и једноставнијим алгоритмима декодирања. Насупрот њима, ко- 
дови са променљивом дужином кодних замена немају проблема са брзином и потпуношћу, али 
имају дотле непознате проблеме са једнозначном препознатљивошћу, тј. са јединственошћу. 


Када се не бавимо и маскирањем (кодирањем налик околини), скуп свих речи поредајмо по веро- 
ватноћи њиховог појављивања у језику, затим највероватнијим придружимо најкраће кодне заме- 
не. Тиме добијамо кдд са максималном потпуношћу и великом брзином. Са друге стране, такво 
придруживање је само у изузетним случајевима могуће декодирати, а наш је задатак да утврдимо 
те изузетне ситуације. 


Пример 1. Дате су азбуке 4 = (а,а,,аз), ВЗ = (0,1) са познатим вероватноћама Р(а1) = 0,5, 
Р(а) = 0,3, Р(аз) = 0,2. Ако дефинишемо придруживање Ј : ај > 0,а, — 1,аз — 01, видимо да 
ј није прави код, јер рецимо након емисије ај а;аз добијамо низ 0101. Онај који поруку декодира 
овај низ може схватити као аја;аја; или азаја или азаз. Преме томе, дефинисани „код“ нема 


јединствен декод. [] 


Пример 2. Имамо исте азбуке и исте вероватноће слова као у претходном примеру али их кодирамо 
другачије ЈГ : ај > 1,2», — 10, аз — 100. Након емисије нпр. ааа; декодер прима поруку 110 која 
се може једнозначно дешифровати али само под условом да је пренос завршен. Наиме, прими ли 


декодер четврту цифру 0 онда је изворни низ ај аз. [0 


Пример 3. Под истим условима дефинишемо код / : ај > 0,а% 10, аз — 11. Изворни низ ај а;аз 
постаје 01011, а овај се јединствено декодира без обзира на крај преноса. [0 


Означимо са К = Ј (Ја) скуп свих речи азбуке В које можемо добити пресликавањем ј извора 
азбуке Л = (84, 62, ..., 4). Специјално К; = ј (а;), ! = 1,2, ...,! замена слова азбуке А или другим 
речима елементарна реч азбуке 8 = (5.,5,,...,Б,.) која је састављена из једног или више слова те 
кодне азбуке. Јасно је да сваки пар низова х, у 6 К ту је ипродужени низ 2 = х|у 6 К. Такође, за 
свако х,у,2 Е ХК је х||(у||2) = Сх||у)||2, тј. вреди закон асоцијације. Са затвореношћу и асоцијати- 
вношћу скуп Х у који је уведена операција уланчавања || чини полугрупу. 


Ако х, у Е К, тада се х зове префикса у суфикс речи 2 = х||у. Даље је Ко = (ј (а), ..., Ј (а/)) скуп 
свих замена, а ХК, = (у еЕ К : х|у е Ко,х Е Ку) скуп свих суфикса елементарних речи са префикс- 
има такође елементарним речима. Формирајмо даље уније ХК) = Ку О КС" редом за ј = 1,2,3,..., 
гдесук“ =(уе К: хуе К „хе ојик" =(у е К : х|усе Кухе К 1). 


Приметимо да је сваки од скупова Ко, К;, ... састављен од суфикса којима је префикс или елемен- 
тарна реч (ХК) или елемент скупа из поменутог низа. Како је Ху коначан скуп, а његови елементи 
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имају коначну дужину, то је и укупан број суфикса коначан. Према томе, у низу Ху, Ко, К,, ... има 
само коначно много различитих скупова, па скуп свих суфикса С = Као Ку ... такође има кона- 
чно много елемената. 


Пример 4. У првом примеру је Ху = (0,1, 01) и Х, = (1), док су сви остали скупови празни. Тако 


У другом примеру су Ку = [1,10,100) и Х; = (0,00) једини непразни скупови, па је С = Кј и 


У трећем примеру је Ку = (0, 10, 11), а сви остали скупови К су празни. О 


Када елементарне речи немају суфикса, тј. када је Х, = (д, тада за декодирање очито није битан 
крај преноса података, па се такви кодови зову тренутни, или кодови са особином префикса. 


Теорема 1. Инјекција ј има јединствен декод само ако је Куп С = ф, тј. ако не постоји суфикс који 
је уједно елементарна реч. 


Доказ: Претпоставимо супротно и узмимо најкраћи неједнозначан низ: 
2 = х, || || ...Ха = Уз ||| ... У. 
То значи да је 2 слика два различита низа слова азбуке (1, али је 
| 06) = ЈГ Цур). 


Тада је специјално ха суфикс од уг или обрнуто. Према томе, постоји суфикс који је замена што 
противречи претпоставци става. 


Обрнуто, ако је Хол С = ф, онда постоји суфикс који је елементарна реч К Е Ја. Тада се у највише 
коначно корака, унатрашке може конструисати низ 2 Е ХК који је могуће двозначно дешифровати: 


Тиме је теорема доказана. ш 


Непосредна последица овог става је јединственост декодирања сваког тренутног кода. На пример, 
Морзеова азбука није тренутни код, јер ЕА = (0)(01) = (00)(1) = |Т и обе речи (ЕА, |Т) кодирају се са 
иста три сигнала „тачка-тачка-црта“ (001). 
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85. Оптималност 

Оптимална брзина кода је постигнута када је просечна дужина кодних замена минимална у скупу 
свих тренутних кодова. Просечну дужину кодне замене, за дати код дефинишемо као средњу вре- 
дност, односно матемаичко очекивање дужине елементарне речи 


1 
пе гп= У руђ, 1==2,,.. 
је1 


где је р) = РГ (ау), п) је број слова кода а). Азбука је ЛА = (а1, 4, ..., 4) и претпостављамо да се 
пренос једног слова обавља у јединици времена, па је 1 очекивано време преноса кодне речи, а 
брзина преноса минимална када је просечна дужина елементарне речи минимална. Конкретно: 


1. пример [84.3. Јединственост] дајеп = 0,5:1+0,3:1+0,2:2 = 1,2; 
2. примердајеп=0,5:1+03:2+0,2:3=71,; 
3. пример, тренутни кодп = 0,5:1+0,3:2+0,2:2 = 1,5. 


Уопште, када се К-то слово азбуке А. = (41, Д;, ..., 4 ) кодира са пу, слова В = (51,5, ...,Ђ,.) начина 
таквог кодирања је т'«, а вероватноћа избора једног од њих је гт "«, На пример, бинарно кодира- 
ње (тг = 2) са три знака (пу = 3) има осам начина (23 = 8). Тачно колико и троцифрених бинарних 
бројева (000, 001, 010, 011, 100, 101, 110, 111), са вероватноћом 273 = 0,125 избора појединог. 


Када би свако од кодираних слова (К = 1,...,[) имало наведену особину, а поменуте вероватноће 
испуњавале услов расподеле да је њихов збир један (или мањи), тада би, бар у теорији, постојале 
комбинације да „догађаји“ које представљају кодирана слова буду исходи расподеле. Видећемо да 
је то заиста одлика јединственог кодирања, а пре тога погледајмо још један пример. 


Пример 1. Дата су азбука 4 = (а, а, аз, а, | и њен код В = (6, 5,53, ђ, ) табелом: 


А ај а аз а, 
В 1 10 101 111 
Рг (а;) 0,4 0,3 0,2 0,1 


Имамо тренутни код очекиване дужине словап = 04:1+0,3-:2 + 0,2: 3+ 0,1 3 = 1,9. Како су 
вероватноће појаве слова у тексту опадајуће са порастом дужине кдда, овај кдд је оптималан. [Д 


Примерима приметите разлике између максималне брзине кода, оптималности и јединствености. 
Посебно, кодна азбука, В = ] (4), из последњег примера бинарна је (7 = 2). Дужине кодова слова 
редом су ту = 1,1, = 2,п3 = Зип, = 3, а поменути збир вероватноћа 2“! + 272 + 273 + 273 = 1. 
Ове посебне вероватноће, дакле, могу представљати неку расподелу, независне и потпуне исходе 
из неког скупа, због чега су биле могуће дате комбинације са којима је код јединствен. Ово 
интуитивно запажање о „посебним вероватноћама“ могуће је строжије исказати. 


Теорема 1. (Крафтова неједнакост) Важи неједнакост 


| 
278 <1 


ако и само ако је код ј јединствен. 
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Доказ: Означимо са М = тах(п,, ...,71), а са ЏЕ број кодних замена дужине ј = 1,2, ...,М. Бирамо 


произвољан природан број Е па је: 


1 


Џ М К км 
"Ба и -5 
Ум) (Ули) = уво 
:!=1 ј=1 јек 

где је В; = ај Тр о у Прва једнакост је тривијална, а другу добијамо степеновањем и 
сређивањем израза. Свака кодна замена дужине ], се комбинује са сваком кодном заменом дуж- 
ине ];, ја, ... И добија ј-члани низ кодне азбуке. Дакле, 8) је број различитих низова слова азбуке 4 


који се кодирањем могу превести у ј-члани низ слова кодне азбуке 8. Уопште, ј-чланих низова аз- 
буке З има највише тј, па услов В; > тЈ значи да декод није јединствен. 


Ако је декод (ј) јединствен биће 2, < 7), те: 


1 

! КМ [2 д 
Ри < ~ ују“] | = (КМ —К + 1Е 1, 
= јек 


кад К — со, што можемо провести јер је К произвољно. Обратно, ако не важи неједнакост твр-ђења, 
бар за једно ј добијамо б; > тј, што значи да декод није јединствен. Тиме је теорема до-казана у 
потпуности. Ш 


Пример 1. У примерима из претходног наслова имамо: 


1, тур = то = 1, та = 2,паје 2 +2"'+2"-=+125> 1; 
2. та = 1 = 2 па = З;паје 2 + 2"-4+2""=0875<% 
3. пр = 1,п, = 2,па = 2,паје 2"! +2"2 +2"2 = 1<1. 


У трећем случају код је био без суфикса у скупу елементарних кодних речи, тј. тренутни код који је 
специјални случај правог кода и за који такође вреди Крафтова неједнакост. 4 


Ако је испуњена Крафтова неједнакост (теорема 1) онда је увек могуће конструисати тренутни кдд 
са истим дужинама кодних речи ту, ...,п,. Према томе, оптималне кодове можемо увек тражити у 
скупу тренутних. Тако у 2. примеру прошлог наслова [84.3.] уместо (1, 10, 100) имамо тренутни код 
(0, 10, 110), или 11, 01, 001). 


Теоријски, могуће је једнозначно искодирати сву васиону, бесконачно много честица (фермиона), 
кодовима дужина природних бојева (п, = 1, п, = 2,п5 = 3, ...) самим бинарним цифрама 0 или 1, 
јер је Крафтов збир 2"! + 272 + 273 + ·-· = 1. Штавише, на начин писања реалних бројева могуће 
је кодирање и континуума различитих појмова на једнозначне начине. 


Теорема 2. (Шенон-Фано) Нека је дат дискретни стационарни извор података у којем слово а; Е 4 
има вероватноћу ;; > 0,7, + 7; +: + 71 = 1. 


1) Акоје5, = — Ба р; 1ов р;, тада постоји тренутни код за који вреди те сп< = +1 


Растко Вуковић 


ИНФОРМАТИЧКА ТЕОРИЈА || 


2) Акоје5 информација извора, а 17/« просечан број кодних симбола по једном симболу 


| : пк М 
извора, тада је Шт — = | 
Кос К Ловт 


Доказ: Одредимо ! целих бројева пд, 1, ...,п) тако да јет "" Ср; < У Ир- 2, | Тада је 


“<< 


1 | 
1=1 !=1 


р,=1, 


па је могуће конструисати тренутни кдд са дужинама кодних замена 11, п,, ..., п. Такође је: 


ов р; < (–т; + 1)1087, 


! 1 
У риоври < – У рт=1 Товт = (п — 1)1057, 


:=1 !=1 


а то је друга неједнакост из (1). Сменом д; = 7" добијамо прву неједнакост, при чему једнакост 
вреди ако и само ако је т " = р; за свако ! = 1,2, ..., !. Тиме је доказано (1). 


Како је 5 (21, ...,Ху) = К5 биће даље: 


5(Х Хе) 1 РЕЗРАСЕНООЕ || 


| огт КЕ | овт К 
Преласком на лимес, када К — со, произилази (2). Тиме је теорема доказана у потпуности. ш 
Другим речима, доказали смо да је 5/105 7 оптимална дужина кодне замене за произвољан ста- 
ционаран извор података информације 5, односно да је то минимум у скупу тренутних кодова 
азбуке В = (55, ...,Ђ,). У 1. примеру биће: 
5 –0,4 105, 04 — --- — 0,1 ·-105, 01 – 1,846439... бис 
45 о ен 
јовт [ов 2 1 


Број 5/1овт исти је у било којој бази логаритма, због начина промене базе. 


Прва неједнакост 2. теореме (1) је први део Шенонове (1948) теореме кодирања у којој он уместо 
овде информације (5) говори о ентропији (ознаке Н), што се још увек ради у званичној теорији. Те 
забуне држао сам се и ја у својим текстовима крајем 20. века:3, све до пажљиве анализе ентропије 
у термодинамици. Много сам о томе писао у међувремену, па и популарно у недавном блогу. 


23 Растко Вуковић: Математичка теорије информације и комуникације, Друштво математичара Републике 


Српске, Бања Лука 1995. 
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Док ентропија супстанце расте, њена информација опада. Спонтани раст ентропије, којим топлота 
са тела веће температуре прелази на суседно тело мање температуре, прати смањење осцилација 
молекула које се хладе и мања укупна информација тела. Према томе, постоји спонтано опадање 
информације тела, праћено смиривањем хаотичног микро-кретања, а оно је у складу са начелним 
чешћим реализовањем вероватнијих исхода. Вероватнији догађаји мање су информативни. 


жжж 


Питање: У „теорији информација“ све што је истинито стварно је, и некако „реално“ се дешава 


Одговор: Да, прво хипотетички, а затим ми је то постајала крупна, озбиљна и забавна прича. На 
пример, васиона садржи огроман број честица и захтева неограничено растући број њихових по- 
ложаја. Оваква „теорија информације“ не дозвољава дословно понављање садашњости, па онда 
постоји и толики број једнозначних њихових „означавања“ (кодова, шифровања, в. горње теореме 
и описе). 


Ако првима „реалностима“ треба пребројива бесконачност, онда другима треба непребројива 
неких. Међутим, ми већ имамо такав континуум реалних бројева, а намеће се питање - где су они 
Наравно, појам „где“ не мора одређивати само физичко место, па даље радимо и са апстрактним 
математичким „просторима“. Такви се даље надовезују и ова прича добија смисао „свеприсутног 
ткива информације у простору, времену и материји, и даље, чија суштина је неизвесност“. 


У таквој, васиона је такође објекат, па и неизвесност ка унутра и ка вани. А то је доследно Расело- 
вом парадоксу (нема скупа свих скупова), или Геделовој теореми немогућности (не постоји теори- 
ја свих теорија), за разлику од свих других данас познатих „теорија реалности“. Зато не одустајем 
од „теорије информације“. А то је, приметимо, само један од начина како ова теорија долази до тих 
познатих немогућности. 


Питање: Нарастање информације васионе памћењем и гомилањем прошлости нарушава ли закон 
одржања информације > 


Одговор: Не, уколико се супстанца садашњости проређује, а њена укупна информација смањује за 
тачно ону количину до које допире сећање (бгомлпв). Информација садашњости опада, ентропија 
расте и садашњост се хлади. 
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86. Хуфманов алгоритам 

Завршићемо основна разматрања о коду са променљивом дужином кодних замена наводећи један 
познати алгоритам за конструкцију оптималног тренутног кода. Пре тога погледајмо доказе за два 
иначе интуитивно јасна става. 


Теорема 1. У оптималном коду (]) слова веће вероватноће имају краће кодне замене. Прецизније 
јр > Вј = 6 Ш] 
засве о] Е [1,... 7). 


Доказ: Претпоставимо супротно, да постоје индекси ;,] Е (1,...,т ) кадар; > рј => п; < пу. Конст- 
руишемо код (4): 


К(ак), кеј) 
д(акх) = Т(а)), к=а 
ј(ау), | =)ј 


Дакле, у кодовима ј и 4 замењене су кодне замене а;, ај, а све остале су им остале исте. Даље, из: 


0 < (р; – р))( – ту) = рит – рт – рути + руп] 
следи рт) + рт < рт + р1пђ, ТЈ. п(д) < 11), а то је контрадикција. Тиме је став доказан. ш 


Једноставно речено, спајајући коефицијенте „већи са мањим“ (и мањи са већим) добијамо мањи 
резултат 5 = хруј + хру2 +: + Хрућ = Х ' У скаларног множења два вектора Х = (Х1,Х;, ..,Ху) и 
У = (у, У», -., уд). Обрнуто, спајајући „већи са већим“ (мањи са мањим) добијамо већи резултат. 
То су познате особине „информације перцепције“, важне у развоју ове теорије информације. 


Сада приметимо да мања „информација перцепције“ (њена форма у израчунавању „просечне“ ду- 
жине кода), значи већу ефикасност у смислу брзине преноса података. Аналогна су запажања о ве- 
Ћој ефикасности у смислу уређивања друштва, да она такође значе мање „непотребно расипање“ 
снага, као и смањивање количине „непотребних опција“ у смисленијем говору. Сва три, свака на 
свој начи, говори заправо о смањивању виталности, односно слобода, или информације. 


Теорема 2. Постоји оптимални тренутни кдд (]) такав да кодне замене ј (а.._;), ..., Ј (а; ) имају исту 
дужину туку = = ту а разликују се само у последњем кодном слову. При томе је К = 7 — 1, ако 
је 1 — 1 дељиво са т — 1, а иначе је К остатак делења ! — 1 сат — 1. 


Доказ: Ако је код оптималан, због 1. теореме је п_у; < :'· < 11. Ако бар на једном месту вреди 
строга неједнакост, тада узимамо префикс дужине п)_у; — 1 кодне замене Ј (а) _;) који уланчавамо 
редом кодним словима 51, ..., ђу.. 1 те добијамо нове кодне замене слова ај _у, ..., 41, ТЈ. нови код 4. 
Тада је п(д) < (1), тј. п(д) < "пЧ(]) што је у контрадикцији са претпоставком става, да је ј 
оптималан код. Тиме је став доказан. ш 


Код из прошлог наслова [84. Пример 1], где се четири слова азбуке А пресликавају редом у 1, 10, 
101, 111, са бројем слова ! = 4 и т = 2, има исту дужину (3) последње две замене, те је К = 1. При 
томе, управо како каже теорема, је К = т –— 1 = 1, јер је ! — 1 = 3 дељиво са т — 1. 
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Са последње две теореме имамо све потребне кораке за конструкцију оптималног тренутног кода 
познатог као Хуфманов (Ни тап, 1952) алгоритам. Потсетимо се, радимо кодирање прве азбуке 
А = (а1,82, ..., 4) помоћу слова друге азбуке В = (51,57, ...,ђ) функцијом Ј (а;) = ђ;, ... бр, при 
чему је вероватноћа :-тог слова прве азбуке р;. Хуфманови кораци су: 


1. азбуку 4 сортирати тако да је р > р, = = ру; 
проверити да ли постоји природан број К такав да је ! = К(т — 1) + г, због теореме 2. 

3. ако не постоји такав број К онда азбуци (А додати толико фиктивних слова, са вероватно- 
Ћом нула, колико је потребно да број К постоји; специјално за 7 = 2 (бинарни код) увек 
постоји такво КЕ да је ! = К + 2, па азбуку (А не треба проширивати; 

4. формирати нову азбуку «4 са [, слова удруживањем последњих т слова претходне азбуке 
«А, у једно слово са вероватноћом која је збир вероватноћа здружених слова. Сваком од " 
здружених слова се придружи по једно од т слова кодне азбуке 8; 

5. понављати претходни корак (4) све до Ц, = 7. 


Пример 1. Нека је ! = 5,7 = 2, те В = (0,1). Кораци алгоритма су: 
_ у(бл а; аз ад 457, 
1) р= (ба 03 02 0,05 0,05) 
2) постоји К = 3 такво да је 5=3'(2—1) + 2; 
3) непотребно; 


а а а а, 
(1) — 1 2 3 45 . 
ај реге (а 0,3 0,2 дај об, а50о 1 
ај а; Азад 
ређе (ра 0,3 0,3 ), зоб, 51 


а а 
(3) — 2345 1 
Ро = (06 од) 2290 а о 1. 


Коначно а12345 > 0, па имамо тренутни код 


је а; аз а, 45 ) 
0 10 110 1110 11117 


са средњом дужином кодираног слова 1 = 2. 0 


Хуфманов алгоритам за 7 = 2, једноставно речено, ће након прва три корака делити азбуку у две 
групе, првој дописати први а другој други кдд и понављати. Заправо, у обрнутом току. 


Пример 2. Додајемо нуле и јединице доследно објашњењу и поново сортирамо: 


(5 ар аз ад а5 а) (04 а; аз ад 0) = 
0,40. 0,25 0,15 0,10 0,06 0,04 0,40. 0,25 0,15 0,10 0,10 


(0 а;  ал56 ) (и 23456 ) (а Ра. 
— — 


0,40 0,25 0,20 0,15 0,40 0,35 0,25 0,60 0,40 
45 аб 
ал (0) 1 
0 10 11 аз 
00 010 011 1 а 
000 0010 0011 01 1 ад 
0000 00010 00011 001 01 1 
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Слова азбуке сачувала су своје вероватноће. |] 


86.1. Рекапитулација 

Кроз један пример, кодирањима исте поруке „ВССАВВРРАЕССВВАЕР РСС“, поновимо неке главне 
моменте расправљане током последњих неколико наслова. Порука од 20 слова састоји се од само 
пет слова А5СП кодова наведених децимално и бинарно и приказаних у следећој табели“. 


А В С р Е 
65 66 67 68 69 
01000001 01000010 01000011 01000100 01000101 
ЕЈ 5 6 4 2 
3/20 5/20 6/20 4/20 2/20 


У четвртом реду табеле је број појављивања појединог слова у датој поруци, а у последњем петом 
наведене су фреквенције слова, њихове статистичке вероватноће. 


Када компјутер преноси ову поруку, аски кодирану, свако слово троши 8 бита (знакова 0 или 1), тако 
да укупна њена дужина износи 8 х 20 = 160 бита. При томе у меморији је негде и списак кодова, 
што за ових пет актуелних слова износи додатних 8 х 5 = 40, односно укупно 160 + 40 = 200 бита. 
Већи број бита значи веће трошење меморије носиоца и дуже трајање преноса података. 


Међутим, није потребно заузимати по осам позиција појединог слова тако скромне поруке. Самих 
пет тих слова енглеског алфабета једнако тачно кодирају и три бинарне позиције, рецимо редом: 
000, 001, 010, 011, 100, 101. Тада трошимо 3 х 20 = 60 бита за текст и још 3 х 5 = 15 бита за табелу 
декодирања, што је додатних 60 + 15 = 75 бита, евентуално плус 8 х 5 = 40 за додефинисање аски 
ознака, што је укупно 75 + 40 = 115 бита. Даље згушњавање омогућава променљива дужина кода. 


Редамо дата слова по растућој фреквенцији у датој поруци и формирамо граф. Слова су дно графа. 
· Заокружене изнад слова су фреквенције. Црте 
20 изнад кругова воде до збирних фреквенција у 
(Др · новим круговима, све до врха пирамиде. Тако 
|.“ се 5 пута јавља неко слово из скупа (Е, Ај), или 11 
9 % | пута из скупа (В, С), а 9 пута из ширег скупа (Е, А, 
Ож_ж ~ 0), или 20 пута из још ширег скупа свих слова 
— у | У = поруке (БА, 0,8, С). 

0 >“ у 0 А | Једноставно даље, путеви од поруке до слова 
“и 4 у. | )4 казују код слова. Лево скретање увек има кдд 0, 
А ' % ЈР- десно 1. Тако се од 20 до Е стиже путем 000, тј. 
2 Р 4) (5 ) 6) слово Е прве азбуке кодира 000 друге. Тако се 
| | слово А кодира са 001 друге азбуке, слов О се 

Е А р В С кодира са 01, В са 10, а С са 11. 
Цела порука је кодирана са: 101111001101001010010001111101000100001011111. Декодирање је 
такође једноставно. Идемо од 20 графом путем бројева кодиране поруке. На почетку је „10...“, што 
значи десно-лево, а то је слово В. Затим опет крећемо од 20 путем ,...11...“, десно-десно, што нас 

доводи до слова С. Након та четири бита имамо опет С и тако даље низ поруку. 
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87. Декод канала 

Рекли смо [83.] да је кодирање намерна трансформација извора у облик из којег је могуће опет 
добити тачан полазни податак. При томе разликујемо заштиту података од неовлаштених особа, 
податке у рачунару, телеграфију. У наставку узимамо у обзир да је кодирана порука подвргнута 
сметњама при проласку кроз канал које поруку изобличавају и отежавају декодирање. 


Пуна носивост канала је његов тотални шум. То је максимална информација датог канала у некој 
јединици времена, односно јединичне дужине текста. Оно што се каналом преноси као „користан 
терет“ је информација мања од те, а теорија предвиђа да су то смисленије поруке што су мање 
информативне. Такође, то су ефикаснији (брже преносиви) кодови што су мање информативни, као 
и што су мање информативне оне заједнице датих јединки које би биле боље организоване 
(ефикасније). 


Како то, недавно ме је неко упитао, да виталност живих бића долази од веће информације коју она 
имају у односу на неживу твар, а онда разумевањем смањује се информација 


Звучи чудно, али не више од апсурдног подизања терета да би се у спуштању искористила његова 
потенцијална енергија и добио користан рад. Биће без вишка „виталности“ не може „спуштањем“ 
доћи до корисног „разумевања“, јер за мртву твар важи принцип најмањег дејства, тј. мртва је већ 
на „дну дна“, са информацијом је у минимуму. 


Аналогно енергији, за информацију важи закон одржања. Заправо, из закона одржања укупне 
информације може се извести закон одржања укупне енергије датог система. Рецимо, за макро 
системе којима време једнако тече, из константности информације и еквивалентности информа- 
ције и физичког дејства 


[информација] = [енергија] х [време] 
мерене у константним временским интервалима следи константност енергије. 


Наравно, ово је део моје теорије информације, не званичне, а „информација“ у формули је само од 
оних информација уопште које се (у пакету) крећу физичким простором. Са друге стране, скоро 
потпуни шум канала могуће је добити и кодирањем, маскирањем, али уз већу цену и мање ефика- 
сним (споријим) кодом. 


У овој теорији, брзина протицања времена може се дефинисати и „количином исхода“ тако да где 
време протиче спорије (у релативном кретању, у јачем гравитационом пољу) постоји и релативни 
дефицит информације, успоравање реализација. То је једна од старих основних теза (моје) теорије 
информације. Али њој доследан и још занимљивији је феномен простора веће брзине протицања 
времена са становишта мање. Тамо већу неизвесност и стога мање вероватноће појединих исхода, 
убрзане видимо као догађаје чије су шансе повећане. Природа као да равна те две крајности, или 
еквивалентно као да онима повећава вероватноће и смањује информацију. Начелно, биће да се и 
на тај начин остварује „спонтана тежња ка мањој емисији информације“. 


Помињем те ситуације да лакше разумемо смањивање информације убрзавањем преноса кодних 
порука, односно да приметимо доследност у том на први поглед „чудном“ резултату. Убрзавања 
која следе из ефикасности, дакле смањења сувишних опција, иначе су по овој теорији испраћена 
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87.1. Брзина 

Изоставимо ли захтев за јединственошћу декода, можгли бисмо рећи да је пренос података ком- 
позиција правог кода и кода канала. Извор података х),Х1,Х,... Е 4 = [а1,4;, ..., 4) преводимо у 
извор у), У; У, -- еЕ В = (81,8, .. ,,) инјективном функцијом /: [х ] [ул] коју зовемо (прави) 
код, ако на основу низа У-а можемо добити тачан полазни низ Х-ова: 


канал 
—2—>у —Х 


извор Х > У — 
ј сметње а  ј“ 


Кодирани низ У-а даље пролази кроз канал трпећи промене због сметњи К: у — 2, чиме чиме се 
део података неповратно губи (постаје непрепознатљив), али је линеарна трансформација К так- 
ође нека инјекција. 


Најбољом инверзијом 9:2'  у' добија се само приближан улазни низ У-а, тако да је тачан декод 
излазне поруке 2 немогућ без обзира што функција кода (ј) има инверзну функцију декода (] “). У 
општем случају се ради о трансформацијама низова са више од једног члана, па се конкретно ј и К 
називају „блок-кодови“. 


За разлику од тачног декодирања (] 1), које смо могли постићи у претходном поглављу, сада тра- 
жимо најприближније (4) декодирање податка који је прошао кроз канал, које се зове „поступак 
препознавања“, или „шема одлучивања“. Слично претходним разматрањима и овде нам је важна 
брзина преноса. Разликујемо пре свега брзину преноса кодних слова и брзину преноса информа- 
ције. 


Када је т-ти члан низа х-ова кодиран у низ у-а укупни број кодираних порука је М. Ако су ове пор- 
уке једнако вероватне, њихова укупна информација је 102 М, па низ у-а по кодном слову садржи 
информацију 

ов М 


К = . 
п 


То је максимална количина информације једног слова п-чланог низа у, = (у), ..., У „), са у-има из 
друге, кодне азбуке (8). Број К се обично зове коефицијент преноса, или брзина блок-кода. 


Пример 1. Када би свака комбинација од 7 кодних слова (азбуке 8) давала по једну смислену 
поруку, тада би било М = "7", тј. К = Јов. Ово је максимална информација скупа од " разних 
елемената, али и максимална брзина датог блок-кода. У општем случају је наравно К < Јов". 


Други пример је ергодички извор података (84.2) са фиксном дужином кодних замена, где важи 
тамо наведена (прва од) неједнакост, тј. М < т'", или [ов М < плорт, па је К < Јовт. Ово Е интер- 
претирамо исто као горе, тј. М је број порука извора које су кодиране у п-члани низ. То је довољан 
и потребан услов за максималну поузданост кодне азбуке. 


Прецизније, у наслову „Потпуност“ [84.] је било 
271(5—е) <м< 25), 


где г > 0 кадт о, тј. т(5 — 2) < [05 М < т(5 + 2), 2 > 0, или 
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т. т. 
— (5—2)<8<—'(5+:), 
п п 


где је т/п. = у брзина преноса кода по слову извора. За т — со биће ВК = у5. 


Са друге стране, ако извор кодирамо променљивом дужином кодних знакова, тада је очекивана 
вредност дужине елементарне кодне речи 71, тј. средњи број потрошених симбола за једно слово 
кодиране азбуке. Дефинишемо У = 1/17, па претходна једнакост даје 1/У = 7 = 5/1. Упоређујући 
исти резултат са Шенон-Фановом теоремом [85. Теорема 2] добијамо да је К = 105 7 за оптималан 
код и даље у < У. Интуитивно је сасвим јасно да оптималан код има минималну средњу дужину 
кодне речи, тј. да тај има максималну брзину преноса. Последње једнакости само потврђују да је 
максимална (интуитивна) брзина достигнута у скупу тренутних кодова. 


Интуитивно можемо разумети и релацију К < С, где је С капацитет канала. Највећа информација 
извора (С) која се може препознати на излазу датог канала није мања од (1) највеће информације 
слова у). Извор кроз канал иде слово по слово као случајна променљива дата улазном, односно 
излазном расподелом. Према томе, услов К > С значи да не можемо конструисати кодер и деко- 
дер датог канала, без обзира каквом техничком опремом располагали. 


87.2. Правило препознавања 

Пролазећи кроз канал податку се дешавају промене због којих излазни низ порука неће бити пре- 
познат као улазни. То је основни разлог зашто линеарна трансформација К, коју зовемо канал, није 
прави код. Наиме, ако постоји јединствен начин да се од излаза добије улаз онда је порука прошла 
непромењена, што у општем случају није тачно: 


~ 


К 
извор Х ——— пријем У ——Х' 
9 
сметње 


Функција 4 није прави декод јер није јединствена. Зато јој додељујемо посебан назив. 


Дефиниција 1. Правило препознавања (или декод канала) је свака функција д: у — Х', гдесуу их' 
низови слова. 


Међу свим „правилима препознавања“ (4) нама су најинтересантнија она која дају х' најприближ- 
није вредностима Х. 


Дефиниција 2. (Правило препознавања најмањом вероватноћом грешке) Функција Х' = а(у) је 
дефинисана једнакошћу Рг(х'|у) = тах Рг (х |у). 
% 


Полазећи од дефиниције (2), због Рг(Х|[у) = Рг(х, у) /Рг (у), добијамо еквивалентну једнакост 
Рг(Х |у) = тах Рг (Х , у). Познато је да у општем случају важи: 
% 


2 9) =1, 2. 6 =1, Ур 69 =1, 
х У х у 
Ргб) = „У РгД), РЕЈ) = Рибе) РеСУ), 


где је у реч од п = 1,2, 3, ... слова азбуке В = (5,, ...,Ђ,), док на улазу имамо реч Х одт = 1,2,3,... 
слова азбуке 4 = (21, ..., 4). У сваком случају овде имамо збирове са коначно много сабирака. 
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Када за свако дато у нађемо одговарајуће Х' такво да је Рг (Х, у) > Рг (Х, у) за сваку улазну поруку 
Х онда имамо дефинисано правило препознавања (4) које даје најмању вероватноћу грешке. 
Наиме, тада је 1 — Рг(, у) > 1 — Рг (Х |у) за свако Х, па је тотална вероватноћа грешке (Еггог, за 
правило препознавања дефиниције 2): 


РАБ) = У Ри 00 – Ре (21) 
У 


минимална. 


Због последње једнакости задато правило препознавања је најинтересантније. Највећи недостатак 
овог правила је потреба познавања свих вероватноћа Рг (х) што је често практично немогуће. Са 
друге стране, познавање свих вероватноћа Рг (%) чини функцију а непотребном. 


Дефиниција 3. (Правило идеалног посматрача) Функција х' = а(у) је задата једнакошћу 
Рг(у|х') = тах Рг(у|Х) 
х 


Практично, излазу у додељујемо онај улаз Х' за који је тај излаз највероватнији. Ако се ради о 
једночланим низовима, улаз и излаз, онда имамо матрицу канала К чији је члан Ку = Рг (ујх), где 
х је !-то слово азбуке 4 = (81, ..., фј а у је ј-то слово азбуке В = (5, ....,Б,). Матрица је реда ! Х т. 


Пример 2. Канал је дат матрицом 
06 01 0,3 
к = (95 0,3 22) 
04 0,2 0,4 


одакле видимо да је улазна азбука 4. = (21, ...,аз ), а излазна В = (б,, ... бај тј. | = 7 = 3. Правило 
препознавања (деф. 3) у свакој колони ј = 1,2, 3 издваја највећи члан К;; па добијамо: 


ад = 4 (фл), а; = 9(%;), аз = 9(%5). 
Према томе, излазни низ ул, у, Уз, У 6 8 препознаје се тако да се свако б; протумачи као ај. |] 


У општем случају имамо п-члани низ У = (ул, ..., У) и неки скуп У таквих п-чланих низова, па је 
условна вероватноћа 


РеСУјУ) = > РЕ(УЕО 
уву 


да излаз у припада скупу У који је опет, подскуп свих речи дужине п над азбуком ВЗ. Ако Рг (У |Х) је 
вероватноћа тачног преноса података х, тада је 1 — Рг (У |Х) вероватноћа грешке, па је 


РАБ) = У Ре) [1 – Ре (712) 


тотална вероватноћа грешке. Доказаћемо да су тоталне вероватноће грешака за два правила пре- 
познавања једнаке. 


Ако уређен пар (х, у), тј. улаз-излаз канала, припада неком од скупова 
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Ту = (фу): х = 9(у)) 


онда је пренос кроз канал без грешке, док у супротном случају имамо грешку при препознавању 
правилом 4. Зато је тотална вероватноћа грешке према 3. дефиницији: 


Р(Е) = >. МЕ РР(#,7) = | Рг (2) > Ру (912) = 


угух 


5 :а Рг (2) · [1 – Рг (7,12)] = Р(Е), 


где је кориштена ознака У, = (у : ( У) Е Ту]. 
Према 2. дефиницији имамо: 


Рђ=у У пауђ= Уб У Ра = 
У 


у х»=40) х=4(7) 


= > Ри (5) [1 – РГ 40] = РЕКЕ). 
У 


Дакле, доказали смо да је Р;(Е) = Ра (Е). 


Отуда су поменуте предности правила препознавања (2) уједно и предности правила (3), с тим да 
правило (3) можемо заиста употребити ако познајемо матрицу канала. Недостатак ових правила је 
у чињеници да тотална вероватноћа грешке може бити најмања и онда када се поједини сигнал 


сасвим погрешно дешифрује. 
0 0 1 
К = 0 0 Ј 
05 05 0 


Видимо да су највећи чланови прве и друге колоне у доњој врсти, док је у трећој колони свеједно 
узимамо ли горњи или средњи члан. Правило препознавања (3) је одређено са 


Пример 3. Канал је дат матрицом 


а(фл) = аз, 9(Ф;) = аз, 9(63) = а. 


Не сумњамо да је тотална вероватноћа грешке овако најмања, али видимо да ће нпр. сигнал а; бити 
увек погрешно препознат, јер је вероватноћа грешке при преносу сигнала а једнака јединици. [] 


У следећем наслову размотрићемо неке компромисе између тоталне и појединачне вероватноће 
грешке, у том смислу да правило препознавања не направи велику грешку при препознавању по- 
јединих сигнала, али да уз такво ограничење добијемо што је могуће мање Р(Е). 


87.3. Блок-код 

Поред циља постављеног на крају претходног поднаслова, уводимо релације међу основне пој- 
мове као што су: брзина преноса (К), капацитет канала (С) и правило препознавања (4) за речи 
дужине п слова датог извора, које представљају фундаменталне резултате теорије декодирања 
канала. Овде се пролазак података кроз канал, односно линеарни оператор К третира као кбд чији 


је декод правило декодирања. 
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Проласком слова х; Е 4 = (а, ..., 4) кроз канал добијамо слово у, Е В = (51, ...,ђ,), а проласком 
једне од М речи хХ = (Х,,..., Ху) добијамо реч у = (ул, ..., У). Свака од М речи улаза трансформи- 
ше се у једну од речи излаза формирајући највише М парова (Х, у), који се често називају елемен- 
тима блок-кода. 


Ако је Х улазни, а у излазни низ слова датог канала К, тада је 


Рг(Х, у) 


Ма 5 ов) РГ 05 


узајамна информација елемената блок-кода (Х, у), где су РГ (Х) и Рг (у) вероватноће појаве речи х 
и у редом на улазу и излазу из канала. Специјално, ако извор нема меморију, тј. ако је: 
Век) = Беба Број = РЕСЈа Е(Ки) 

биће: 

Рг (у) _ А, РгОмх) _К 

из ГУЈХ Г(УДХ; РРА 
Пху) = 1ов——= = У пов-- = = У пЕ,)). 
Ру) 24  РКОр 2 


Према томе, узајамна информација пара п-чланих речи једнака је збиру узајамних информација 
одговарајућих појединих парова слова, ако су слова у речи међусобно независна. 


Када извор информације има меморију, а чланови матрице канала су константе, можемо посма- 
трати [; = Гор у;), 1 = 1,...,п, као низ независних променљивих, јер канал са константним коеф- 
ицијентима нема меморију. Математичко очекивање таквог низа је: 


ву= У Ргбфуд 1 = 1,8). 
1 


Дакле, једнако је средњој узајамној информацији датог канала, где је а; еЕ А, р; = Рг (а;),ђ; ЕЗ, 
д4; = Рг (6)), док јер = (рл, -.,р1),4 = (да, -- ду). Ако је р она улазна расподела која даје максим- 
ално [(р, а) онда је Е1, = С, тј. очекивање је једнако капацитету канала. 


У општем случају, ако канал преноси информацију слово по слово, такође има смисла дефинисати 
збир информација појединих слова 
1 1 > ђ. 


п 
1=1 
Због претходне једнакости, тада је у крајњем случају Е! = пС. Али за разлику од ње, која даје сре- 
дњу информацију по слову, ова је збир информација од п слова. 


Случајни низ независних бројева [; има информацију 5 која је гранична вредност од 


п 
1 
5, === > РГОБ ову РО), 
:=1 
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за п — со, те је Џ~ђ7У, Због М > М даље добијамо 5 > К. Дакле, неодређеност појаве пара улаз- 
излаз унапред задате узајамне информације није мања од информације по једном слову (1). Сли- 
чно добијамо М > ђ"“, или С > Е, где важи једнакост ако и само ако М = М, тј. ако свака комби- 
нација слова, како улазне тако и излазне азбуке, чини реч и када је број речи улазне азбуке једнак 
броју речи излазне. 


Овде су нам мање интересантни парови (Х, у) са мало узајамне информације и, са друге стране, 
парови који се реализују са вероватноћом нула. Ради тога делимо све улазно-излазне речи у два 
скупа: 


А'= (у): Пљу)> а), А" = (фу):ЦУу) са), 


где је а произвољан али фиксан реалан број (а Е К). Како су А' и А" дисјунктни скупови са М' и М" 
елемената респективно, то је М = М' + М". Поредамо ли све улазне речи у низ Х1, %, ..., Хм па узме- 
мо произвољан елеменат Х тога низа, можемо дефинисати скуп излазних речи 


' ИЕ РЕК ' 

х = (у: фу) Е А". 
Да бисмо елиминисали пар (Х, у) који се реализује са вероватноћом нула узмимо неки мали број 
2 > (), па из скупова А ка по а избацимо елементе са излазном вероватноћом мањом од 2, зат- 


им избацимо елементе А! тог скупа који већ постоје у претходном : = 1,2,..., М. Добијамо низ 
дисјунктних скупова (: = 1,2,...,М): 


5 = баре) 5: = 0: буре А Јоу, РЕЗЕ) = = 
јет 


Лако је видети да је 5"; 15', = ф кад! = ј, док скуп 5' = ЏИ, 5', садржи све парове скупа А'. 
Означимо са 5" скуп комплементаран скупу 5", дакле скуп маловероватних парова, па приметимо 
да је 
Рг (у|Х) < 2, 
Уе5"ПА!Х 
за свако Х. Са друге стране је: 
>. Ру (902) < 3 Рес |;) = Рг(5']2). 
УС5ПА!; уе5' 

Уведимо ознаку Рг(А') = Утујел РГ (%, У). По дефиницији условне вероватноће је даље: 

РЕ(А') = ја Рг (2) > Рр (5) = )2 Рг (2) > Рр (72) + о; Рг (2) > Рг (22), 

УБА! УБА! у65"ПА! у 


где се сабира по свим улазним речима Х. Последњи сабирак, због У, Рг(%) = 1 и због горње стро- 
ге неједнакости, није већи од 2. Претходни сабирак, због претходне неједнакости, постаје: 


|з Рг(2) Рг (5'12) < Ре(5') = > Ри(57) < > РЕ(АГ А), 
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због 5"; С А,,. По дефиницији (2), за скуп А' добијамо Рг(у[х) > ђеРГг (у), па је: 


РА ја) = > Ргб)рсе. У РАБ) = Ре РЦА" 2) < 79, 


УбАХ УБАХ 


где је ђ > 1 база логаритма информације. Према томе, претходни сабирак није већи од МБ “, а оба 
заједно дају: 


РГ(А) < Мђ“5 + 2, тј М> ЂУРА") – 2]. 


Последњи резултат можемо интерпретирати као доњу границу броја (М) улазних речи у дати ка- 
нал за које се може конструисати правило препознавања Х; = д(у), У Е 5';. За разлику од претхо- 
дних (87.2) ово правило има појединачну вероватноћу грешке већу од 1 — 2. Пратећи доказ, види- 
мо да последње неједнакости важе и за оне канале који имају меморију. 


Међутим, за веће 2 могу бити сви скупови 5", (; = 1,2, ...) празни, па од правила препознавања (4) 
нема ништа. Исто тако, независно од 2, али са великим бројем а можемо добити премален па чак 
и празан скуп А', губећи речи изворног језика. У оба случаја доња граница броја М у последњој ре- 
лацији је тако малена да број (М) дешифрованих речи постаје недовољан. 


Како изворних речи дужине п. слова има М = ђ"“, где је ВБ коефицијент брзине, то је основно 
питање декодирања канала: може ли десна страна те неједнакости бити једнака броју свих речи 
Х = (24, ..,Ху)2 Одговор на то питањање даје следећа, тзв. фундаментална теорема. 


Теорема 1. За дискретни канал без меморије, капацитета С > 0 и за реални број КЕ (0О< 6 < () 
постоји блок-код од М речи са по п слова и правило препознавања 4 тако да је: 


е= ти Рг(5|%) > 1—а'е“ 6", М>ђ', 
1<1ЕМ 
где параметри а > би В > 0 не зависе од п. 


Доказ: Када је 2 позитивна случајна променљива са позитивном дисперзијом логаритам дефини- 
шемо очекивања: 


п(О) = пе(е“), тек, 


а ТЕ) Б(аа“)- ке“) = (Е(еље“))" 
412 ЊЕ (Е (е! 7 ))2 | 


12/2 12/2 


Шварцова неједнакост за 2, = е и2, = 22 даје: 
(Е (21 ' 2)8 < Е(а) · Е(25), 
(Е (2е'5))2 < Е(е'")· Е(22е'7), 
"(0 > 0. 
Када би овде важила једнакост биле би 21, 2; линеарно зависне случајне променљиве за које је: 


22 
а1 '2, + а, '2; = (а, + а; ' 2): е2 =0. 
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Услов а, = 0 значи да је 2 = — а, /а, те да 2 нема претпостављену позитивну дисперзију. Ставимо 
ли Е(0) = (6) –— 2 п' (6) добијамо 6'(6) = — 1 п"(6). За 1 > 0 је 2 (1) < 0 па је тада #(1) опадају- 
ћа функција, а за : < 0 је 2(6) растућа. Зато 6(0) = тах ЕСС). 


Отуда једнакости 6(0) = п(0) = [1 Е (1) = О дају п(6) — #71 (6) < 0 за Е < 0. Сменом (Марковље- 
ва неједнакост) 2) = е“2 добијамо: 


Рг (2) > е““ · Е(20), 
Ру(е “= => ебс)у« 796. Е(ес), 
Рг(2 > а) <е ". Е(ест), 
Сменом 2  —1, а > —а имамо даље: 
Рг(–—1> –а) = РИ Са) < е“ · Е(е“с), С> 0. 


Користећи претходну формулу за збирну информацију појединих слова и овај резултат Шварцове 
неједнакости, налазимо: 


п 
Е(е“с) = Е(е“С2л=аћ) == | |вке“е – (е"с0)", 
1=4 


Ставимо ли Е = —С < 0 биће Е(е"!) = е710), ; < 0, па је (2 = Г) п'(0) = ЕП) = С. Та неједнакост 
(1"'(2) > 0), дакле, показује да 1(#) строго расте на целом скупу реалних бројевав и да постоји број 
гр < 0 такав да: 


С+Е 
—- Сп) < С, 


1 СЕ 1 , 
Рг (< < –-) <Рг ( < 20) < „"(пбо)–го7 (о) 


Посебно је Рг (! Сп. ==) < 275), Рг(А") < е', где је стављено —р = п(6р) – (07 (60), а у 


познатој релацији Рг(47) = 1 — Рг (А), комплемент 46 = А", А = А'. Због ц(6) – Еп (6) < 0 биће 
В > 0, што значи да Рг (А"") — 0 када п — со. Другим речима, постоји довољно велико п тако да је 


С-Е 
д=е "2 +е“"В <1. При томе, сменом 6 = 1—2, ђ=еу м > БУРА) – 2] и по. =а 


– ._(С-Е 
Ки. ЗАИР ак 3 пет | | 


пп" —— 


добијамом =е "2 :е"2 =е"К,те1—2<2:е , а отуда и тврђење теореме. шт 


У литератури, ову „фундаменталну теорему“ налазимо и као г = ах [1 – Рг(5|х ] < а: е“8п, Џ 
<15 


овим ознакама и условима, што је њен еквивалентан облик. 


87.4. Немогућ захтев 

Видели смо доказ познате „фундаменталне теореме“ о декодирању канала. Постоји и обрат ове 
теореме (М/оћом/ 2) такође потежак, коју ћу приказати у мало скраћеној форми. Основна теорема 
потврђује егзистенцију кодера и декодера дискретног канала без меморије, брзине | не веће од 
капацитета С канала и произвољно великом потпуношћу, тј. произвољно малом вероватноћом 2 
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максималне грешке преноса. Обратна теорема тврди да је то немогуће постићи са брзином преноса 
већом од капацитета канала. 


Знамо да више неизвесности имамо погађајући једно слово изван текста, него слова у тексту. То је 
доказивано овде [80.1. Теорема 1] релацијама 5,1 < 57, 5,41 5 5,,1 = 1,2,3, ..., где је 5, инфор- 
мација коју има п-то слово у низу када је познато претходних п — 1, а 5, је средња својствена инф- 
ормација једног слова у низу од п слова. Поменуте релације постају једнакости ако и само ако су 
слова у тексту међусобно независна. 


За разлику од ових једнакости, оне из претходног поднаслова [87.1. Брзина] односе се на узајамне 
информације парова слова блок-кода. Међутим, већ смо доказали да је трећа једнака првој, ако су 
слова у речи извора међусобно независна. 


Нека је х = (Х, ...,Х) одређена улазна реч у дати канал, а у = (ул, ..., У, ) произвољна могућа од- 
говарајућа излазна реч, где х; Е 4, у, 6 В. Тада је условна информација излаза уз познати улаз 


50) = – У РАС Лов ГО), 
У 


где се сабира по свим излазним речима (у) дужине п слова. Без обзира на меморију извора, ако 
канал нема меморију биће: 


РгО/х) = РгОу |х1) - РгОу |хп), 


50/Х) = – > Рг(у, |ха) - Рг(у, |Ху) Поз РгОу |х1) + :: + 102 Рг(у |Х7)], 
у 


50.) = У 50 а). 
:–1 


Условна информација излазне речи једнака је збиру условних информација појединих слова, за 
дискретни канал без меморије. Посматрамо ли у као произвољни извор, на основу поменутих 
једнакости, добијамо 


ЈОБУЖОЈ 
!=1 


где вреди једнакости ако су ул, ..., У, независни. 


Отуда, због (х, у) = 5(у) – 5(у|х) имамо: 
п п 
пњ) < У 1500 – збио] = > Куд. 
:=1 !=1 


Бирамо ли произвољно Х, ова неједнакост говори о излазној п-чланој речи дискретног канала без 
меморије. Она постаје једнакост ако и само ако Рг(у) = Рг(у1) ... Рг (у, ) за сваки излаз у. 
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Према томе, целокупна информација пренесена каналом није већа од збира појединих узајамних 
информација. Придружимо ли једну узајамну информацију пара слова (х;, у;) блок-кода слову 2; 
нове азбуке (новог извора) моћи ћемо применити формалне резултате претходних поглавља, где 
је ово само један од њих. Уместо таквог правца, у наставку завршићемо са разматрањима о деко- 
дирању канала. 


Означимо са у = (у, .., Уу) одређену излазну реч датог канала, а са Х = (Х/,...,Х,) произвољну 
улазну, где сух; Е 4 иу; Е ВЗ. Тада је условна информација улаза уз познати излаз 


50) = – > РеОовРкС), 
Х 


где се сабира по свих М различитих улазних речи Х. 


Узмимо било које правило препознавања (4) па одредимо једно Х' = а(у) из скупа свих улазних 
речи. Тада је вероватноћа грешке појединачног декодирања: 


аб) = 1– Ребеђ) = У Ра). 
ХхЕХ! 
Због основних особина информације је 
5(х|у) = 5(4,1—а) + 450) + 4 – 4)5(4, --„Фм-1), 


где стоје скраћенице 


а __РЕСУ) 
ф = 4) = === =~, 1=1,.,М-1, 
ко 1–40) 


а Ху, .., Хм су све п-члане речи извора осим Х'. Максимална информација последњег сабирка је 
јов(М — 1), која одговара скупу једнако вероватних речи извора, док је 5(1) = 0. Према томе је 


5(хђу) < 5(4,1—4) + 4 – а)1ов(М – 1). 


Лева страна достиже максимум када је за примљено у једнако вероватна свака од М послатих речи 
Х. Тада је 5(Х|у) = 105 М, а десна страна ову постиже у оба случаја а = 1/М илид = 1—1/М.У 
свим осталим случајевима ова неједнакост је једнакост. 


Дефинишемо средњу условну информацију улаза са познатим излазом уобичајено, па је 


5бђ) < > Реб) |5(4,1 – а) +1о(м – 0 У РОД – 9) 
У У 


Због особине конвексности информације добијамо: 


У рбдза1 –-ф <5| У Ргбда, У РГ ОЈО – 4) = 5ГРгКЕ), 1 – РГ (Б)), 
У У У 


гдеје Р(Е) = У РЕ (у) – а(7)] = 0, вероватноћа тоталне грешке, па уместо претходног имамо 
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5(х|у) < 5, 1— 0) + ду Лор(М – 1). 
Тиме смо доказали Фанову лему која важи за сваки блок-код (п, М) и правило (4). 


Теорема 2. (Обрнута фундаменталној) Ако је за дискретни канал без меморије К > С, тада г не тежи 
јединици када п — со нити за један блок-код. 


Доказ: Претпоставимо да је Рг(%;) = 1/М. Даље је: 


М 
(х)= -> Рг(Х;) 102 Рг(Х,) = 102 М, 


:=1 
Цу) = 500) – 5(х у) = 1о2М – 5(%, У), 
јовМ – 5(д,, 1 — ду) – О, 1ор(М – 1) < Цу), 
ПИу) = тебе бр Ој 2Лов 2] 


1022 +–ФпС 


1 — 
Фа > роеМ 


Према дефиницији тоталне вероватноће грешке (0) и претпоставке, имамо 


М 
1 5 
да = 1,2 1 – Р' (84401 
= 
По претпоставци теореме, можемо ставити КЕ = С + 6,8 > 0, тј. М = еМ/(С+9), па је 


С + 1082 С 
а сања 


за п — со, што значи да вероватноћа кода (2) не тежи 1. Према томе, нема потпуног правила 
препознавања овог канала. Тиме је теорема доказана. ш 


Растко Вуковић 


